大数据实时计算工程师/Hadoop工程师/数据分析师职业路线图

描述

本路线图是一个专门针对大数据实时处理、Hadoop工程师和数据分析师所设计的课程体系介绍，在实时计算方向主要包括了从数据收集框架、集群协调框架、数据缓存框架到实时计算框架都全面进行深度解析，让一个普通的开发人员迅速成为实时计算领域的领跑者。也从整体架构上给出了一个实时计算可以践行的基础架构和实时业务处理方法；在离线计算方面主要涉及集群调度框架、Hadoop框架、Hive框架、Hbase框架的全面深入的讲解，涉及的课时都比较长，也为能让每一个学习的同学都能轻松掌握相关知识，特此奉献了MapReduce开发的20个经典案例讲解以及部分Hadoop源代码的分析，希望能借此帮助学习的人跟深入的学习内核原理。       

学习目标

通过大数据相关技术框架的学习，快速成为一名合格大数据相关的工程研发人员。        

学习建议

有一定Java基础和Linux基础。  

 

第一部分：大数据生态环境搭建-离线计算和实时计算环境(CDH)

·        1 CDH生态系统简介【免费】

·        2 JDK统一安装【免费】

·        3 Hadoop集群搭建-1【免费】

·        4 Hadoop集群搭建-2

·        5 Hadoop集群搭建-3

·        6 Hadoop集群搭建-4

·        7 Hadoop集群搭建配置文件配置-5

·        8 Hadoop集群搭建HDFS配置-6

·        9 Zookeeper集群安装与配置

·        10 Hbase集群安装与配置

·        11 Hive安装与配置-1

·        12 Hive安装与配置-2

·        13 Phoenix安装与配置

·        14 Snappy、Impala安装与配置-1

·        15 Impala安装、配置和测试

·        16 Ganglia集群安装与配置

·        17 Flume安装

·        18 Memcached安装与测试

·        19 Redis组安装、配置与测试

·        20 Storm集群部署-1

·        21 Storm集群部署-2

·        22 Kafka集群安装与测试

 

第二部分：数据收集框架  Flume-日志收集利器视频教程

·        1 flume简介-基础知识【免费】

·        2 flume安装与测试

·        3 flume部署方式

·        4 flume source相关配置及测试

·        5 flume sink相关配置及测试

·        6 flume selector 相关配置与案例分析

·        7 Flume SinkProcessors相关配置和案例分析

·        8 Flume Interceptors相关配置和案例分析

·        9 Flume RPC Client开发

·        10 Flume Sink和Flume Source开发

 

第三部分：集群协调框架Zookeeper入门到精通视频教程

·        1 zookeeper基础知识【免费】

·        2 zookeeper用户指令

·        3 zookeeper集群安装与测试

·        4 zookeeper深入讲解

·        5 zookeeper开发

 

第四部分：消息框架  Kafka从入门到精通视频教程

·        1 kafka基础知识讲解【免费】

·        2 kafka安装与测试

·        3 kafka深入剖析

·        4 kafka producer和consumer开发

 

第五部分：数据缓存框架Memcached集群开发视频教程

·        1 memcached基础知识【免费】

·        2 memcached集群安装和命令的使用

·        3 memcached深入解析

·        4 memcached分布式集群开发

 

数据缓存框架  Redis从入门到精通视频教程

·        1 redis简介【免费】

·        2 redis安装

·        3 redis配置详解

·        4 redis String类型操作

·        5 Redis Hash操作

·        6 Redis Set操作

·        7 Redis List操作

·        8 Redis Key操作

·        9 Redis PUB/SUB操作

·        10 Redis 持久化讲解

 

第六部分：实时计算实时计算开发-Storm从入门到精通

·        1 Storm基础知识【免费】

·        2 storm集群安装-1

·        3 Storm集群安装-2

·        4 Storm-starter打包运行测试Storm集群

·        5 Storm 配置文件配置项讲解

·        6 Maven 环境快速搭建教程

·        7 storm基本api介绍

·        8 Storm Topology的并发度

·        9 Storm消息机制原理讲解

·        10 Storm DRPC实战讲解

·        11 Storm Transaction 原理+实战讲解

·        12 Storm 实现滑动窗口计数和TopN排序

·        13 Storm0.9.1+kafka0.8.1集成-1

·        14 Storm0.9.1+kafka0.8.1集成-2

·        15 Storm0.9.1+kafka0.8.1集成-3

 

第七部分：实时计算框架项目实战Storm项目实战

·        1 storm+kafka环境搭建-1【免费】

·        2 storm+kafka环境搭建-2

·        3 storm+kafka环境搭建-3

·        4 项目分析

·        5 kafka producer测试

·        6 storm整合kafka

·        7 整合项目测试

·        8 storm 订单有效性检查

·        9 storm 数据修正

·        10 storm 数据业务入库处理-1

·        11 storm 数据业务入库处理-2

·        12 storm 数据定时存库处理

·        13 入库mysql并进行测试和bug修复-1

·        14 入库mysql并进行测试和bug修复-2

·        15 优化数据结构-确保数据不丢失

·        16 zookeeper锁机制

·        17 增加zookeeper锁，保证多线程同时处理数据-1

·        18 增加zookeeper锁，保证多线程同时处

 

第八部分：Hadoop基础Hadoop(2.x)视频-从入门到实战视频教程

·        1 Hadoop与传统BI的区别【免费】

·        2 Hadoop如何解决传统问题【免费】

·        3 Hadoop背景/概念/解决的问题

·        4 Hadoop HDFS 基本概念

·        5 checkpoint运行原理/数据恢复原理

·        6 Hadoop HDFS 体系结构/优缺点

·        7 Hadoop HDFS 文件读写操作流程/设计特征

·        8 Hadoop MapReduce 基本概念/例子分析

·        9 Hadoop MapReduce 运行原理

·        10 Hadoop MapReduce 运行细节

·        11 Hadoop集群搭建-JDK安装【免费】

·        12 Hadoop集群搭建-1【免费】

·        13 Hadoop集群搭建-2【免费】

·        14 Hadoop集群搭建-3【免费】

·        15 Hadoop集群搭建-4【免费】

·        16 Hadoop集群搭建配置文件配置-5【免费】

·        17 Hadoop集群搭建HDFS配置

·        18 Zookeeper集群安装与测试

·        19 Hadoop HDFS Shell操作详解-1

·        20 Hadoop HDFS Shell操作详解-2

·        21 Hadoop HDFS API 操作-1

·        22 Hadoop HDFS API操作-2

·        23 Hadoop HDFS API 操作-3

·        24 Hadoop MapReduce API-1

·        25 Hadoop MapReduce API-2

·        26 Hadoop MapReduce API-3

 

第九部分：Hadoop实战分析Hadoop案例实战课程-20个经典案例视频教程

·        1 Hadoop案例实战课程-案例概述【免费】

·        2 Hadoop实例1-通过采集的气象数据分析每年的最高温度-1【免费】

·        3 Hadoop 实例1-----通过采集的气象数据分析每年的最高温度--2【免费】

·        4 Hadoop 实例1-通过采集的气象数据分析每年的最高温度--3

·        5 Hadoop 案例2----数据去重问题--需求分析、编写Map、Reduce代码

·        6 Hadoop 案例2----数据去重问题--2

·        7 Hadoop 案例3----数据排序--需求分析、编写Map、Reduce代码-1

·        8 Hadoop 案例3----数据排序--2

·        9 Hadoop 案例4----平均成绩--需求分析-1

·        10 Hadoop 案例4----平均成绩--编写Map、Reduce代码、Job

·        11 Hadoop 案例5-----求最大最小值问题-1

·        12 Hadoop 案例5-----求最大最小值问题-2

·        13 Hadoop 案例6-----TopN问题：求最大的K个值并排序--1

·        14 Hadoop 案例6-----TopN问题：求最大的K个值并排序--2

·        15 Hadoop 案例7-----日志分析：分析URL的访问量-1

·        16 Hadoop 案例7-----日志分析：分析URL的访问量--2

·        17 Hadoop 实例8 Join讲解1--需求分析、设计思路分解-1

·        18 Hadoop 实例8 Join讲解1--编写Map、Reduce代码-2

·        19 Hadoop 实例8 Join讲解1--编写Job代码，准备基础数据-3

·        20 Hadoop 实例9 Join讲解2--需求分析、设计思路分解-1

·        21 Hadoop 实例9 Join讲解2--编写Job代码，准备基础数据-2

·        22 Hadoop 实例10 Join讲解3-优化方案--优化方案设计讲解-1

·        23 Hadoop 实例10 Join讲解3-优化方案---2

·        24 Hadoop 实例10 Join讲解3-优化方案---3

·        25 Hadoop 实例11-----二次排序讲解与案例分析--1

·        26 Hadoop 实例11-----二次排序讲解与案例分析--2

·        27 Hadoop 案例12-----自连接问题案例分析--1

·        28 Hadoop 案例12-----自连接问题案例分析--2

·        29 Hadoop 案例13-----倒排索引案例分析--1

·        30 Hadoop 案例13-----倒排索引案例分析--2

·        31 Hadoop 案例14-----多维度排序：多字段排序--1

·        32 Hadoop 案例14-----多维度排序：多字段排序--2

·        33 Hadoop 案例14-----多维度排序：多字段排序--3

·        34 Hadoop 实例15-----MultipleInputs实战1--1

·        35 Hadoop 实例15-----MultipleInputs实战1--2

·        36 Hadoop 实例16-----MultipleInputs实战2--1

·        37 Hadoop 实例16-----MultipleInputs实战2--2

·        38 Hadoop 实例17-----MultipleOutputs实战--1

·        39 Hadoop 实例17-----MultipleOutputs实战--2

·        40 Hadoop 实例18----链式ChainMapper、ChainReducer--1

·        41 Hadoop 实例18----链式ChainMapper、ChainReducer--2

·        42 Hadoop 实例19----迭代式MapReduce：解决PR计算问题--1【即将发布】

·        43 Hadoop 实例19----迭代式MapReduce：解决PR计算问题--2【即将发布】

·        44 Hadoop 实例20----优化【即将发布】

 

 

第十部分：数据分析工具Hive从入门到实战

·        1 Hive是什么，Hive的体系结构，Hive和Hadoop的关系【免费】

·        2 Hive的元数据存储、Hive的数据存储、Hive和RDBMS的区别【免费】

·        3 JDK安装【免费】

·        4 Hadoop集群搭建-1【免费】

·        5 Hadoop集群搭建-2【免费】

·        6 Hadoop集群搭建-3【免费】

·        7 Hadoop集群搭建-4【免费】

·        8 Hadoop集群搭建配置文件配置-5【免费】

·        9 Hadoop集群搭建HDFS配置-6【免费】

·        10 Zookeeper集群安装与配置【免费】

·        11 Hive安装与配置-1【免费】

·        12 Hive安装与配置-2【免费】

·        13 Hive与Hadoop的处理流程分析案例【免费】

·        14 Hive Cli命令行操作讲解

·        15 内部表和外部表的创建、修改、删除操作实战

·        16 增加分区、删除分析、加载数据到指定分区讲解和案例操作

·        17 增加、修改列以及表属性修改操作讲解

·        18 从文件加载到hive表讲解和案例操作

·        19 Array、Map操作案例分析讲解与实战

·        20 Struct 操作案例分析讲解与实战

·        21 嵌套复合类型案例分析实战/基于RegexSerDe的案例剖析实战

·        22 详解Select语法操作

·        23 Group by使用详解

·        24 Hive 中 Order by, Sort by ,Dristribute by,Cluster By

·        25 Hive Sort by,Dristribute by,Cluster By操作案例讲解

·        26 Hive Join 讲解

·        27 Hive Lateral View语法

·        28 Hive Lateral View语法-案例

·        29 Hive Union 语法、Select 子查询、in或Not in实现

·        30 Hive Explain 语法、Hive 虚拟列

·        31 Hive S X 锁

·        32 关系运算符、算术运算符

·        33 逻辑运算符、复杂类型使用

·        34 数学函数

·        35 收集函数、类型转换函数、日期函数

·        36 条件函数

·        37 字符函数

·        38 UDAF函数、UDTF函数

·        39 UDF开发实战

·        40 UDAF开发实战

 

数据存储工具Hbase

参考网址：http://edu.51cto.com/roadmap/view/id-29.html