Hadoop生态圈技术光速入门(MR实现、MR二次排序、PageRank、社交好友推荐算法)—1405人已学习
课程介绍
本课程从基础的环境搭建到更深入的知识学习都会有一个比较好的讲解。帮助学员上手hadoop生态圈的大数据处理框架的使用,使用hadoop生态圈进行一些模块化、项目功能化的开发,主要包括安装部署hadoop、hive、hbase、hue、oozie、flume等生态圈相关软件环境的搭建,并且在已搭建好的环境上进行相关知识点的讲解和功能的开发。
课程收益
了解Hadoop生态圈环境搭建,主要包括:hadoop、hbase、hive、zookeeper、hue、flume、flume、oozie、kafka等,通过对各个模块的专门学习,让学员对hadoop生态圈的各个部分有一定比较深入的了解
讲师介绍
张勇 更多讲师课程
北风网技术总监,在某大型电信设备公司担任架构师,主要从事电信领域的软件开发,经验丰富。对电信计费系统以及核心网软件系统有深入了解,对设计高可靠性,高扩展性的软件系统具有丰富经验。
课程大纲
第1章:hadoop
1. Hadoop起源介绍 21:40
2. Hadoop生态圈介绍 11:59
3. Hadoop基本组件介绍 15:44
4. Hadoop组成框架介绍 11:36
5. SSH免密码登录以及JDK安装 17:16
6. Hadoop安装1 19:15
7. Hadoop安装2 24:33
8. Eclipse环境搭建 12:23
9. HDFS组件及备份机制介绍 17:24
10. HDFS读写文件流程介绍 13:42
11. shell命令介绍1 18:52
12. shell命令介绍2 14:32
13. shell命令介绍3 22:53
14. shell命令介绍4 11:51
15. HDFS api介绍1 27:15
16. HDFS api介绍2 26:15
17. HDFS api介绍3 20:41
18. HDFS新特性介绍 22:22
19. YARN组件介绍 20:41
20. YARN框架上job执行流程介绍 22:04
21. MR编程模型总体介绍 26:02
22. Shuffle阶段Map端执行流程介绍 24:09
23. Shuffle阶段Reduce端执行流程介绍 23:45
24. WordCount案例总体介绍 6:22
25. WordCountMapper类编写 13:03
26. WordCountReducer和WordCountRunner类编写 16:26
27. WordCountRunner运行测试 18:57
28. MapReduce中数据类型介绍 7:29
29. MapReduce中自定义数据类型介绍 18:42
30. Hadoop序列化和Java序列化的区别 20:18
31. 自定义InputFormat1 13:52
32. 自定义InputFormat2 19:16
33. 自定义InputFormat3 24:07
34. 内置OutputFormat介绍 18:28
35. 自定义OutputFormat类1 16:17
36. 自定义OutputFormat类2 16:20
37. 案例介绍以及Mapper类的编写 20:15
38. Reducer以及Runner类的编写 20:16
39. 运行测试 14:48
40. Shuffle组件Partitioner自定义介绍 17:10
41. Shuffle组件Combiner以及Grouping自定义介绍 24:47
42. 二次排序实现1 17:54
43. 二次排序实现2 22:22
44. 顺序式MR组合任务介绍 21:32
45. 依赖关系组合式MR任务介绍 21:55
46. 链式MR任务介绍 26:34
47. MapSideJoin介绍 17:33
48. ReduceSideJoin介绍 26:24
49. 半连接介绍 21:36
50. 倒排索引实现1 28:17
51. 倒排索引实现2 20:03
52. 倒排索引实现3 17:22
53. 倒排索引实现4 11:56
第2章:zookeeper
1. Zookeeper体系结构 20:41
2. Zookeeper数据模型 12:26
3. Zookeeper节点特性 14:55
4. Zookeeper安装1 15:47
5. Zookeeper安装2 18:43
6. Zookeeper Shell命令 26:58
7. Zookeeper Java API介绍1 28:32
8. Zookeeper Java API介绍2 16:36
9. Zookeeper Java API介绍3 19:32
10. Zookeeper Java API介绍4 24:17
11. DistributedLock编码实现1 25:17
12. DistributedLock编码实现2 21:24
13. DistributedLock编码实现3 16:06
第3章:hbase
1. DistributedLock测试 32:08
2. HBase集群结构介绍 24:32
3. HBase数据模型介绍 29:26
4. HBase伪分布式安装1 18:44
5. HBase伪分布式安装2 21:00
6. HBase Shell命令1 24:03
7. HBase Shell命令2 31:19
8. HBase Shell命令3 18:03
9. HBaseAdmin API介绍1 22:53
10. HBaseAdmin API介绍2 22:47
11. HTable API介绍1 17:45
12. HTable API介绍2 19:03
13. HTable API介绍3 16:44
14. Scan Filter详细介绍 25:51
15. HBase数据库连接池介绍 13:08
16. HBase协处理器介绍 19:56
17. HBase Observer协处理器自定义实现 21:52
18. HBase自定义协处理器测试 24:49
19. HBase和MR整合 17:23
20. MR代码实现1 16:47
21. MR代码实现2 18:42
第4章:hive
1. Hive起源、体系结构介绍 20:36
2. Hive安装模式介绍以及MySQL安装 18:58
3. Hive安装 24:08
4. Hive Shell命令1 28:36
5. Hive Shell命令2 19:38
6. Hive Shell命令3 22:19
7. Hive Shell命令4 13:06
8. Hive Shell命令5 31:11
9. Hive Shell命令6 25:20
10. Hive Shell命令7 22:29
11. Hive UDF自定义函数实现 24:22
12. Hive UDAF自定义函数实现1 15:12
13. Hive UDAF自定义函数实现2 17:38
14. Hive UDTF自定义函数实现 17:49
第5章:hue
1. Hue安装1 18:47
2. Hue安装2 18:26
3. Hue使用案例1 21:00
4. Hue使用案例2 23:58
第6章:Oozie
1. Oozie简介 25:01
2. Tomcat安装 7:36
3. Oozie安装1 24:24
4. Oozie安装2 10:16
5. Oozie工作流编写规则介绍 22:57
6. Workflow案例1 23:03
7. Workflow案例2 28:04
8. Workflow案例3 16:46
9. Coordinator案例 21:26
10. Oozie Java客户端介绍1 22:21
11. Oozie Java客户端介绍2 31:19
12. Oozie与Hue整合讲解1 21:18
13. Oozie与Hue整合讲解2 25:20
第7章:Flume
1. Flume介绍1 26:34
2. Flume介绍2 19:04
3. Flume案例介绍1 17:44
4. Flume案例介绍2 11:57
5. Flume案例介绍3 25:17
6. Flume案例介绍4 21:22
7. Flume案例介绍5 31:39
8. Flume案例介绍6 31:29
9. Flume Source自定义实现1 21:49
10. Flume Source自定义实现2 17:31
11. Flume Source自定义实现3 17:51
12. Flume Source自定义实现4 14:00
13. Flume Channel&Sink;接口结构介绍 19:14
14. Flume Source接口结构介绍 18:24
15. Flume Interceptor介绍 14:52
16. Flume log4j Interceptor案例实现 18:39
17. Flume Interceptor自定义实现1 16:18
18. Flume Interceptor自定义实现2 20:35
第8章:Sqoop
1. Sqoop安装介绍1 18:07
2. Sqoop安装介绍2 17:21
3. Sqoop案例1 22:05
4. Sqoop案例2 27:03
5. Sqoop案例3 27:29
6. Sqoop案例4 24:26
7. Sqoop案例5 16:52
第9章:Kafka
1. Kafka介绍 26:40
2. Kafka安装 29:20
3. Kafka案例介绍1 20:51
4. Kafka案例介绍2 17:02
5. Kafka案例介绍3 31:43
第10章:MR扩展
1. MapReduce案例:最短路径算法实现1 23:40
2. MapReduce案例:最短路径算法实现2 21:34
3. MapReduce案例:最短路径算法实现3 20:27
4. MapReduce案例:最短路径算法实现4 34:22
5. MapReduce案例:PageRank算法实现1 28:05
6. MapReduce案例:PageRank算法实现2 16:19
7. MapReduce案例:PageRank算法实现3 26:43
8. MapReduce案例:PageRank算法实现4 14:51
9. MapReduce案例:PageRank算法实现5 21:54
10. MapReduce案例:社交好友推荐算法实现1 13:24
11. MapReduce案例:社交好友推荐算法实现2 16:46
12. MapReduce案例:社交好友推荐算法实现3 18:42
13. MapReduce案例:社交好友推荐算法实现4 11:57
14. MapReduce案例:社交好友推荐算法实现5 18:25
15. Flume TailDir Source简介与源码下载 23:31
16. Flume TailDir Source源码编译 23:03
17. Flume TailDir Source案例 29:13
18. 数据简单HBase序列化案例 32:20
19. 自定义数据HBase序列化代码实现 32:42
20. 自定义数据HBase序列化案例 20:21
大家可以点击【 查看详情】查看我的课程
课程介绍
![201802011323507385.jpg](https://img-bss.csdn.net/201802011323507385.jpg)
本课程从基础的环境搭建到更深入的知识学习都会有一个比较好的讲解。帮助学员上手hadoop生态圈的大数据处理框架的使用,使用hadoop生态圈进行一些模块化、项目功能化的开发,主要包括安装部署hadoop、hive、hbase、hue、oozie、flume等生态圈相关软件环境的搭建,并且在已搭建好的环境上进行相关知识点的讲解和功能的开发。
课程收益
了解Hadoop生态圈环境搭建,主要包括:hadoop、hbase、hive、zookeeper、hue、flume、flume、oozie、kafka等,通过对各个模块的专门学习,让学员对hadoop生态圈的各个部分有一定比较深入的了解
讲师介绍
张勇 更多讲师课程
北风网技术总监,在某大型电信设备公司担任架构师,主要从事电信领域的软件开发,经验丰富。对电信计费系统以及核心网软件系统有深入了解,对设计高可靠性,高扩展性的软件系统具有丰富经验。
课程大纲
第1章:hadoop
1. Hadoop起源介绍 21:40
2. Hadoop生态圈介绍 11:59
3. Hadoop基本组件介绍 15:44
4. Hadoop组成框架介绍 11:36
5. SSH免密码登录以及JDK安装 17:16
6. Hadoop安装1 19:15
7. Hadoop安装2 24:33
8. Eclipse环境搭建 12:23
9. HDFS组件及备份机制介绍 17:24
10. HDFS读写文件流程介绍 13:42
11. shell命令介绍1 18:52
12. shell命令介绍2 14:32
13. shell命令介绍3 22:53
14. shell命令介绍4 11:51
15. HDFS api介绍1 27:15
16. HDFS api介绍2 26:15
17. HDFS api介绍3 20:41
18. HDFS新特性介绍 22:22
19. YARN组件介绍 20:41
20. YARN框架上job执行流程介绍 22:04
21. MR编程模型总体介绍 26:02
22. Shuffle阶段Map端执行流程介绍 24:09
23. Shuffle阶段Reduce端执行流程介绍 23:45
24. WordCount案例总体介绍 6:22
25. WordCountMapper类编写 13:03
26. WordCountReducer和WordCountRunner类编写 16:26
27. WordCountRunner运行测试 18:57
28. MapReduce中数据类型介绍 7:29
29. MapReduce中自定义数据类型介绍 18:42
30. Hadoop序列化和Java序列化的区别 20:18
31. 自定义InputFormat1 13:52
32. 自定义InputFormat2 19:16
33. 自定义InputFormat3 24:07
34. 内置OutputFormat介绍 18:28
35. 自定义OutputFormat类1 16:17
36. 自定义OutputFormat类2 16:20
37. 案例介绍以及Mapper类的编写 20:15
38. Reducer以及Runner类的编写 20:16
39. 运行测试 14:48
40. Shuffle组件Partitioner自定义介绍 17:10
41. Shuffle组件Combiner以及Grouping自定义介绍 24:47
42. 二次排序实现1 17:54
43. 二次排序实现2 22:22
44. 顺序式MR组合任务介绍 21:32
45. 依赖关系组合式MR任务介绍 21:55
46. 链式MR任务介绍 26:34
47. MapSideJoin介绍 17:33
48. ReduceSideJoin介绍 26:24
49. 半连接介绍 21:36
50. 倒排索引实现1 28:17
51. 倒排索引实现2 20:03
52. 倒排索引实现3 17:22
53. 倒排索引实现4 11:56
第2章:zookeeper
1. Zookeeper体系结构 20:41
2. Zookeeper数据模型 12:26
3. Zookeeper节点特性 14:55
4. Zookeeper安装1 15:47
5. Zookeeper安装2 18:43
6. Zookeeper Shell命令 26:58
7. Zookeeper Java API介绍1 28:32
8. Zookeeper Java API介绍2 16:36
9. Zookeeper Java API介绍3 19:32
10. Zookeeper Java API介绍4 24:17
11. DistributedLock编码实现1 25:17
12. DistributedLock编码实现2 21:24
13. DistributedLock编码实现3 16:06
第3章:hbase
1. DistributedLock测试 32:08
2. HBase集群结构介绍 24:32
3. HBase数据模型介绍 29:26
4. HBase伪分布式安装1 18:44
5. HBase伪分布式安装2 21:00
6. HBase Shell命令1 24:03
7. HBase Shell命令2 31:19
8. HBase Shell命令3 18:03
9. HBaseAdmin API介绍1 22:53
10. HBaseAdmin API介绍2 22:47
11. HTable API介绍1 17:45
12. HTable API介绍2 19:03
13. HTable API介绍3 16:44
14. Scan Filter详细介绍 25:51
15. HBase数据库连接池介绍 13:08
16. HBase协处理器介绍 19:56
17. HBase Observer协处理器自定义实现 21:52
18. HBase自定义协处理器测试 24:49
19. HBase和MR整合 17:23
20. MR代码实现1 16:47
21. MR代码实现2 18:42
第4章:hive
1. Hive起源、体系结构介绍 20:36
2. Hive安装模式介绍以及MySQL安装 18:58
3. Hive安装 24:08
4. Hive Shell命令1 28:36
5. Hive Shell命令2 19:38
6. Hive Shell命令3 22:19
7. Hive Shell命令4 13:06
8. Hive Shell命令5 31:11
9. Hive Shell命令6 25:20
10. Hive Shell命令7 22:29
11. Hive UDF自定义函数实现 24:22
12. Hive UDAF自定义函数实现1 15:12
13. Hive UDAF自定义函数实现2 17:38
14. Hive UDTF自定义函数实现 17:49
第5章:hue
1. Hue安装1 18:47
2. Hue安装2 18:26
3. Hue使用案例1 21:00
4. Hue使用案例2 23:58
第6章:Oozie
1. Oozie简介 25:01
2. Tomcat安装 7:36
3. Oozie安装1 24:24
4. Oozie安装2 10:16
5. Oozie工作流编写规则介绍 22:57
6. Workflow案例1 23:03
7. Workflow案例2 28:04
8. Workflow案例3 16:46
9. Coordinator案例 21:26
10. Oozie Java客户端介绍1 22:21
11. Oozie Java客户端介绍2 31:19
12. Oozie与Hue整合讲解1 21:18
13. Oozie与Hue整合讲解2 25:20
第7章:Flume
1. Flume介绍1 26:34
2. Flume介绍2 19:04
3. Flume案例介绍1 17:44
4. Flume案例介绍2 11:57
5. Flume案例介绍3 25:17
6. Flume案例介绍4 21:22
7. Flume案例介绍5 31:39
8. Flume案例介绍6 31:29
9. Flume Source自定义实现1 21:49
10. Flume Source自定义实现2 17:31
11. Flume Source自定义实现3 17:51
12. Flume Source自定义实现4 14:00
13. Flume Channel&Sink;接口结构介绍 19:14
14. Flume Source接口结构介绍 18:24
15. Flume Interceptor介绍 14:52
16. Flume log4j Interceptor案例实现 18:39
17. Flume Interceptor自定义实现1 16:18
18. Flume Interceptor自定义实现2 20:35
第8章:Sqoop
1. Sqoop安装介绍1 18:07
2. Sqoop安装介绍2 17:21
3. Sqoop案例1 22:05
4. Sqoop案例2 27:03
5. Sqoop案例3 27:29
6. Sqoop案例4 24:26
7. Sqoop案例5 16:52
第9章:Kafka
1. Kafka介绍 26:40
2. Kafka安装 29:20
3. Kafka案例介绍1 20:51
4. Kafka案例介绍2 17:02
5. Kafka案例介绍3 31:43
第10章:MR扩展
1. MapReduce案例:最短路径算法实现1 23:40
2. MapReduce案例:最短路径算法实现2 21:34
3. MapReduce案例:最短路径算法实现3 20:27
4. MapReduce案例:最短路径算法实现4 34:22
5. MapReduce案例:PageRank算法实现1 28:05
6. MapReduce案例:PageRank算法实现2 16:19
7. MapReduce案例:PageRank算法实现3 26:43
8. MapReduce案例:PageRank算法实现4 14:51
9. MapReduce案例:PageRank算法实现5 21:54
10. MapReduce案例:社交好友推荐算法实现1 13:24
11. MapReduce案例:社交好友推荐算法实现2 16:46
12. MapReduce案例:社交好友推荐算法实现3 18:42
13. MapReduce案例:社交好友推荐算法实现4 11:57
14. MapReduce案例:社交好友推荐算法实现5 18:25
15. Flume TailDir Source简介与源码下载 23:31
16. Flume TailDir Source源码编译 23:03
17. Flume TailDir Source案例 29:13
18. 数据简单HBase序列化案例 32:20
19. 自定义数据HBase序列化代码实现 32:42
20. 自定义数据HBase序列化案例 20:21
大家可以点击【 查看详情】查看我的课程