扫码下载「CSDN程序员学院APP」,1000+技术好课免费看
APP订阅课程,领取优惠,最少立减5元 ↓↓↓
订阅后:请点击此处观看视频课程
视频教程-【高阶实战】顶级运营商大数据实时分析项目-Spark
学习有效期:永久观看
学习时长:994分钟
学习计划:17天
难度:中
「口碑讲师带队学习,让你的问题不过夜」
讲师姓名:杨俊
架构师
讲师介绍:10年一线开发及项目管理经验,6年以上大数据项目架构、实施、开发与运维经验,骨灰级大数据玩家,对Hadoop、Storm、Spark、Flink、Kylin、Druid等大数据技术有较深研究。搭建、维护过上百节点集群,处理过PB级数据。 因技术出色,多次在知名企业内部进行大数据技能培训,对一线企业大数据方面的技能需求非常了解。 热爱分享,喜欢结合切身经历的大型项目经验来授课,用血淋淋的一线案例、真刀真枪的现场演示、实时的回馈指导赢得了很多学员的仰慕和好评。
☛点击立即跟老师学习☚
「你将学到什么?」
Spark开发工程师课程旨在帮助同学们收获一份有含金量、能写在简历上的项目经验,课程无死角讲解项目每个环节。课程内容涉及项目业务介绍、技术选型与架构设计、项目的架构演进、手机端到服务端数据流程、日志采集设计与要求、日志采集拓扑结构、线上和本地集群资源规划、项目全流程开发、项目总结、项目面试21问。项目内容比较丰满,零基础的同学可以从基础学到项目,有基础的同学可以直接选择项目学习。
「课程学习目录」
第1章:Spark开发工程师课程介绍 |
1.【高级】Spark开发工程师课程介绍 |
第2章:项目需求分析与架构设计 |
1.项目业务详细介绍(一) |
2.项目业务详细介绍(二) |
3.项目技术选型与架构设计 |
4.1、2、3期项目工程架构(一) |
5.1、2、3期项目工程架构(二) |
6.手机客户端到服务端通信过程与服务质量监控 |
第3章:大数据采集集群设计与要求 |
1.大数据采集集群设计与要求 |
2.采集系统如何应用数据峰值 |
第4章:大数据测试集群与线上集群资源规划 |
1.测试集群与线上集群资源规划部署 |
第5章:华为手机客户端数据上报服务端【实战】 |
1.手机客户端数据上报服务端应用开发(一) |
2.手机客户端数据上报服务端应用开发(二) |
3.数据上报本地测试 |
4.数据上报服务端测试1 |
5.数据上报服务端测试2 |
6.用户隐私数据保护 |
第6章:Flume高可用集群采集华为手机业务数据【实战】 |
1.Flume最简数据采集 |
2.Flume TailDirSource断点续传 |
3.Flume TailDirSource源码解读 |
4.Flume TailDirSource源码bug修改 |
5.Flume TailDirSource 文件回滚验证源码bug修改 |
6.Flume高可用分布式集群构建 |
7.Flume集群接入手机客户端上报数据 |
第7章:Kafka分布式集群实现华为手机数据交换【实战】 |
1.Kafka集群可用性测试 |
2.Flume与Kafka整合 |
3.Kafka数据分区优化理论支撑 |
4.Kafka分区优化源码开发 |
5.Flume与Kafka分区优化测试 |
第8章:HBase分布式数据库建模【实战】 |
1.HBase数据库建模 |
第9章:Spark Streaming实时项目工程开发【实战】 |
1.相关集群参数集中管理 |
2.生产环境中优雅停止Spark Streaming作业 |
3.从HBase获取Kafka offset消费起始位置 |
4.Spark Streaming消费kafka数据 |
5.获取当前DStream每个批次的offset |
6.Spark对原始数据做ETL |
7.Spark大数据分析华为手机业务 |
8.业务数据入库HBase |
9.生产环境如何维护kafka offset |
10.项目优化之kryo序列化 |
11.项目优化之Kafka分区限流 |
12.HBase如何处理高并发流 |
第10章:项目工程本地测试与线上部署【实战】 |
1.项目所有业务建表 |
2.项目本地测试jar包冲突解决 |
3.项目本地测试跑通 |
4.项目打包及上传服务器 |
5.Spark ON YARN安装部署 |
6.YARN生产环境调度器配置与使用 |
7.项目运行脚本开发及下线、线上配置切换 |
8.生产环境中项目提交YARN运行 |
9.Spark Streaming结合业务代码执行详解 |
第11章:web用户行为可视化项目接口开发【实战】 |
1.web可视化项目介绍 |
2.web用户行为接口开发与查询 |
3.web可视化项目总结 |
4.【高级】Spark开发工程师课程总结 |
「7项超值权益,保障学习质量」
- 大咖讲解
技术专家系统讲解传授编程思路与实战。
- 答疑服务
专属社群随时沟通与讲师答疑,扫清学习障碍,自学编程不再难。
- 课程资料+课件
超实用资料,覆盖核心知识,关键编程技能,方便练习巩固。(部分讲师考虑到版权问题,暂未上传附件,敬请谅解)
- 常用开发实战
企业常见开发实战案例,带你掌握Python在工作中的不同运用场景。
- 大牛技术大会视频
2019Python开发者大会视频免费观看,送你一个近距离感受互联网大佬的机会。
- APP+PC随时随地学习
满足不同场景,开发编程语言系统学习需求,不受空间、地域限制。
「什么样的技术人适合学习?」
- 想进入互联网技术行业,但是面对多门编程语言不知如何选择,0基础的你
- 掌握开发、编程技术单一、冷门,迫切希望能够转型的你
- 想进入大厂,但是编程经验不够丰富,没有竞争力,程序员找工作难。
「悉心打造精品好课,17天学到大牛3年项目经验」
【完善的技术体系】
技术成长循序渐进,帮助用户轻松掌握
掌握Spark知识,扎实编码能力
【清晰的课程脉络】
浓缩大牛多年经验,全方位构建出系统化的技术知识脉络,同时注重实战操作。
【仿佛在大厂实习般的课程设计】
课程内容全面提升技术能力,系统学习大厂技术方法论,可复用在日后工作中。
「你可以收获什么?」
获得近20小时Spark高级开发工程师课程
获得1个大项目4个子项目完整源码
获得1-3年Spark项目开发经验