视频教程-Hadoop大数据从入门到精通-Hadoop

Hadoop大数据从入门到精通

十年项目经验，曾经任职中国移动架构师，丰富的教学经验让无数人获得高薪

任亮

¥600.00

立即订阅

扫码下载「CSDN程序员学院APP」，1000+技术好课免费看

APP订阅课程，领取优惠，最少立减5元 ↓↓↓

订阅后：请点击此处观看视频课程

 

视频教程-Hadoop大数据从入门到精通-Hadoop

学习有效期：永久观看

学习时长：1834分钟

学习计划：31天

难度：高

 

「口碑讲师带队学习，让你的问题不过夜」

讲师姓名：任亮

高校教师 / 培训机构讲师

讲师介绍：十年项目经验，曾经任职中国移动架构师，丰富的教学经验让无数人获得高薪

☛点击立即跟老师学习☚

 

「你将学到什么？」

Hadoop分布式文件系统（HDFS）和MapReduce的工作原理 如何优化Hadoop机群所需要的硬件配置 搭建Hadoop机群所需要考虑的网络因素 如何利用Hadoop配置选项进行系统性能调优 如何利用FairScheduler为多用户提供服务级别保障 Hadoop机群维护和监控 如何使用Flume从动态生成的文件加载数据到Hadoop

 

「课程学习目录」

第1章：大数据Hadoop第1章

1.大数据技术领域介绍及学习方法和发展规划

2.Hadoop的介绍及基本概念

3.Hadoop的必要性-1

4.Hadoop的必要性-2

5.Hadoop集群安装部署-linux服务器环境准备

6.Hadoop集群安装部署-hadoop安装部署及配置

7.Hadoop集群启动-手动启动

8.Hadoop集群启动-自动化脚本启动

9.Hadoop集群从单节点的伪分布式扩展为多节点分布式

10.Hdfs的功能体验及shell命令行操作

11.Hdfs分布式文件系统的基本工作机制及相关概念解析

12.Hdfs的JAVA客户端基本操作-1

13.Hdfs的JAVA客户端基本操作-2

14.Hdfs的JAVA客户端基本操作-3

15.Hdfs的JAVA客户端基本操作-4

16.Hdfs的JAVA客户端IO流操作

17.Hdfs读写数据流程

18.Hdfs中namenode管理元数据的机制

第2章：大数据Hadoop第2章

1.Hadoop的RPC框架运行机制

2.Hadoop的RPC框架应用示例-1

3.Hadoop的RPC框架应用示例-2

4.Mapreduce概念介绍

5.Mapreduce框架运行机制

6.Mapreduce运行机制的数据流程

7.wordcount的mapreduce逻辑实现流程

8.wordcount程序的mapper类实现

9.wordcount程序的reducer类实现

10.wordcount程序的job提交客户端实现

11.wordcount程序打包运行演示

12.流量汇总需求及mapreduce编程思路

13.流量汇总mapreduce程序的实现-1-hadoop序列化机制

14.流量汇总mapreduce程序的实现-2-mapper和reducer

15.流量汇总mapreduce程序打包执行及网页监控

16.分区汇总流量程序的思路及实现-1

17.分区汇总流量程序的思路及实现-2

18.分区汇总流量程序的执行及分区数与reducetask数的关系

第3章：大数据Hadoop第3章

1.流量汇总并按流量大小倒序排序的代码实现

2.流量汇总并按流量大小倒序排序的代码实现

3.mapreduce程序的本地运行模式及debug

4.mapreduce框架中的shuffle机制详解

5.YARN的基本概念--MR程序提交的流程

6.YARN的工作机制--MR程序运行流程

7.YARN的工作机制及特性总结

8.mapreduce程序运行并发度--reduce并发度

9.mapreduce程序运行并发度--数据切片的思考

10.mapreduce程序运行并发度--maptask决定机制

11.mapreduce编程练习之共同好友-需求解析

12.mapreduce编程练习之共同好友-思路分析

13.mapreduce编程练习之共同好友--步骤1实现

14.mapreduce编程练习之共同好友--步骤2实现

15.mapreduce编程练习之连表查询--需求分析

16.mapreduce编程练习之连表查询--mapper的实现

17.mapreduce编程练习之连表查询--reducer的实现

第4章：大数据Hadoop第4章

1.zookeeper简介

2.mapreduce编程练习之连表查询--reduce端join的缺点

3.mapreduce编程练习之连表查询--map端join的思想

4.mapreduce编程练习之连表查询--map端join的mapper实现

5.mapreduce编程练习之倒排索引--需求说明

6.mapreduce编程练习之倒排索引--编程思路

7.mapreduce编程练习之倒排索引--步骤1的实现

8.mapreduce编程练习之倒排索引--步骤2的实现

9.mapreduce编程练习之倒排索引--多job串联执行的实现

10.zookeeper集群搭建--集群组件介绍

11.zookeeper集群搭建--配置文件修改

12.zookeeper集群搭建--集群启动及可靠性测试

13.zookeeper的功能

14.zookeeper的命令行客户端使用及功能测试

15.zookeeper的java客户端初步使用

第5章：大数据Hadoop第5章

1.zookeeper的java客户端创建znode

2.zookeeper的java客户端获取及修改znode数据

3.zookeeper的java客户端删除znode节点

4.zookeeper的java客户端监听器的使用

5.zookeeper应用案例——服务器列表动态更新-实现思路

6.zookeeper应用案例——服务器列表动态更新-服务端实现

7.zookeeper应用案例——服务器列表动态更新-客户端实现

8.zookeeper应用案例——服务器列表动态更新-运行测试

9.zookeeper应用案例——分布式锁-实现思路

10.zookeeper应用案例——分布式锁-主体逻辑

11.zookeeper应用案例——分布式锁-主体逻辑2

12.zookeeper应用案例——分布式锁-代码实现-1

13.zookeeper应用案例——分布式锁-代码实现-2-运行测试

14.hadoop-HA机制的实现原理-1

15.hadoop-HA机制的实现原理-2

16.hadoop-HA集群部署-服务器环境准备

17.hadoop-HA集群部署-zookeeper部署及ha配置要点

18.hadoop-HA集群部署-配置文件修改-1

19.hadoop-HA集群部署-配置文件修改-2

20.hadoop-HA集群部署-初始化及启动

21.hadoop-HA集群的使用和HA特性测试

第6章：大数据Hadoop第6章

1.hbase数据库简介

2.hbase集群结构

3.hbase集群部署与测试

4.hbase命令行客户端简单使用

5.hbase表结构与传统数据库表结构的对比

6.hbase命令行客户端创建表和插入数据及表的排序特性

7.hbase命令行客户端get查询命令

8.hbase命令行客户端管理名称空间

9.hbase客户端api--建表

10.hbase客户端api-数据插入

11.hbase客户端api-数据删除

12.hbase客户端api-数据更新

13.hbase客户端api--查询数据--Get

14.hbase客户端api--查询数据--Scan

15.hbase客户端api--过滤器查询

16.hbase分布式存储机制简介

第7章：大数据Hadoop第7章

1.hive的安装和建表语句

2.hive的设计思想和技术架构

3.hive如何往表中导入数据

4.hive中的内部表和外部表的区别

5.hive的元数据库配置

6.sqoop的安装配置

7.sqoop导入数据的最基本用法

8.sqoop导入数据到hdfs的高级用法

9.sqoop导入数据到hive及导出数据

10.storm实时流式计算系统简介

11.storm实时流式计算系统的工作机制

12.storm集群的配置和部署

13.storm集群的部署及动态增加节点

14.storm编程的基本概念-topo-spout-bolt

15.storm编程的基本概念-2

16.storm编程接口--spout的结构

17.storm编程案例--spout组件实现

18.storm编程案例--bolt组件A-实现

19.19.storm编程案例--bolt组件B-实现

20.storm编程案例--提交topo的客户端

21.storm编程案例--网站访问来源实时统计--需求

22.storm编程案例--网站访问来源实时统计--代码实现

 

「7项超值权益，保障学习质量」

• 大咖讲解

技术专家系统讲解传授编程思路与实战。

• 答疑服务

专属社群随时沟通与讲师答疑，扫清学习障碍，自学编程不再难。

• 课程资料+课件

超实用资料，覆盖核心知识，关键编程技能，方便练习巩固。（部分讲师考虑到版权问题，暂未上传附件，敬请谅解）

• 常用开发实战

企业常见开发实战案例，带你掌握Python在工作中的不同运用场景。

• 大牛技术大会视频

2019Python开发者大会视频免费观看，送你一个近距离感受互联网大佬的机会。

• APP+PC随时随地学习

满足不同场景，开发编程语言系统学习需求，不受空间、地域限制。

 

「什么样的技术人适合学习？」

• 想进入互联网技术行业，但是面对多门编程语言不知如何选择，0基础的你
• 掌握开发、编程技术单一、冷门，迫切希望能够转型的你
• 想进入大厂，但是编程经验不够丰富，没有竞争力，程序员找工作难。

 

「悉心打造精品好课，31天学到大牛3年项目经验」

【完善的技术体系】

技术成长循序渐进，帮助用户轻松掌握

掌握Hadoop知识，扎实编码能力

【清晰的课程脉络】

浓缩大牛多年经验，全方位构建出系统化的技术知识脉络，同时注重实战操作。

【仿佛在大厂实习般的课程设计】

课程内容全面提升技术能力，系统学习大厂技术方法论，可复用在日后工作中。

 

「你可以收获什么？」

学员将学习和掌握使用高级脚本语言或类SQL语言来编写MapReduce任务，而无需掌握Java编程语言和熟悉Hadoop API。通过掌握Hive和/或Pig，将极大缩短数据分析人员设计编写和调试常见数据分析问题的周期，提高工作效率；从而为企业节省费用，缩短分析结果市场化的周期。

 

订阅课程 开始学习