王家林最受欢迎的一站式云计算大数据和移动互联网解决方案课程 V1(20140809)之Hadoop企业级完整训练:Rocky的16堂课(HDFS&MapReduce&HBase&Hive&Zookee

原创 2014年08月11日 20:46:00

Hadoop是云计算的事实标准软件框架,是云计算理念、机制和商业化的具体实现,是整个云计算技术学习中公认的核心和最具有价值内容。

如何从企业级开发实战的角度开始,在实际企业级动手操作中深入浅出并循序渐进的掌握Hadoop是本课程的核心。

 

云计算学习者的心声:

如何从企业级开发的角度,不断动手实际操作,循序渐进中掌握Hadoop,直到能够直接进行企业级开始,是困惑很多对云计算感兴趣的朋友的核心问题,本课程正是为解决此问题而生,学习者只需要按照一步步的跟着视频动手操作,即可完全无痛掌握Hadoop企业级开发。

同时本课程会对Hadoop的核心源码进行剖析,使学习者具备一定的修改Hadoop框架的能力,从而能够根据实际的业务情况来打造自己的框架。

 

Hadoop领域4个开创先河

1,全程覆盖Hadoop的所有核心内容

2,全程注重动手实作,循序渐进中掌握Hadoop企业级实战技术

3,在授课的过程中会对Hadoop的核心源码进行深度剖析,使得学员具有改造Hadoop框架的能力

4,具备掌握Hadoop完整项目的分析、开发、部署的全过程的能力

 

---讲师:

王家林老师(邮箱18610086859@126.com 电话18610086859 QQ:1740415547

中国目前唯一的移动互联网和云计算大数据集大成者;

云计算大数据Spark亚太研究院院长和首席专家;

 

Spark亚太研究院院长和首席专家,Spark源码级专家,Spark潜心研究(20121月起)2年多后,在完成了对Spark14不同版本的源码的彻底研究的同时不断在实际环境中使用Spark的各种特性的基础之上,编写了世界上第一本系统性的Spark书籍并开设了世界上第一个系统性的Spark课程并开设了世界上第一个Spark高端课程(涵盖Spark内核剖析、源码解读、性能优化和商业案例剖析)。Spark源码研究狂热爱好者,醉心于Spark的新型大数据处理模式改造和应用。

Hadoop源码级专家,曾负责某知名公司的类Hadoop框架开发工作,专注于Hadoop一站式解决方案的提供,同时也是云计算分布式大数据处理的最早实践者之一,Hadoop的狂热爱好者,不断的在实践中用Hadoop解决不同领域的大数据的高效处理和存储,现在正负责Hadoop在搜索引擎中的研发等,著有《云计算分布式大数据Hadoop实战高手之路---从零开始》《云计算分布式大数据Hadoop实战高手之路---高手崛起》《云计算分布式大数据Hadoop。实战高手之路---高手之巅》等;

 

Android架构师、高级工程师、咨询顾问、培训专家;

通晓Android、HTML5、Hadoop,迷恋英语播音和健美;

致力于Android、HTML5、Hadoop的软、硬、云整合的一站式解决方案;

国内最早(2007年)从事于Android系统移植、软硬整合、框架修改、应用程序软件开发以及Android系统测试和应用软件测试的技术专家和技术创业人员之一。

 

HTML5技术领域的最早实践者(2009年)之一,成功为多个机构实现多款自定义HTML5浏览器,参与某知名的HTML5浏览器研发;

超过10本的IT畅销书作者;

 

Total Hadoop Professional

培训对象

1,对云计算、分布式数据存储于处理、大数据等感兴趣的朋友
2,传统的数据库,例如OracleMaySQLDB2等的管理人员
3Java开发者
4,网站服务器端的开发人员

参加课程基础要求

对云计算有强烈的兴趣,能够看懂基本的Java语法。

培训后的目标能力

直接上手Hadoop工作,具备直接胜任Hadoop开发工程师的能力和系统管理员的能力。

培训技能目标

• 彻底理解Hadoop 代表的云计算实现技术的能力

• 具备构建并驾驭Hadoop集群能力
• 具备修改Hadoop框架的能力

• 具备开发自己网盘的能力

• 具备修改HDFS具体源码实现的能力
• 从代码的角度剖析MapReduce执行的具体过程并具备开发MapReduce代码的能力
• 具备掌握Hadoop如何把HDFS文件转化为Key-Value让供Map调用的能力
• 具备掌握MapReduce内部运行和实现细节并改造MapReduce的能力

• 具体Hadoop企业管理员的实际能力
• 具备理解并通过命令行和Java两种方式操作ZooKeeper的能力

• 具备掌握HBase企业级开发和管理的能力

• 具备掌握Pig企业级开发和管理的能力

• 具备掌握Hive企业级开发和管理的能力

• 具备使用Sqoop自由转换传统关系型数据库和HDFS中数据的能力
• 具备使用Flume收集和管理分布式日志的能力

• 具备掌握Hadoop完整项目的分析、开发、部署的全过程的能力

培训职业目标

• Hadoop工程师,能够开发任意复杂程度的Hadoop分布式应用
 Hadoop管理员,能够构建并管理Hadoop集群

 Hadoop框架源码研究和修改的能力

 Hadoop完整项目的分析、开发、部署的全过程的能力

 

培训内容

 

时间

内容

备注

第一天

1个主题:Hadoop三问(彻底理解Hadoop

1、 Hadoop为什么是云计算分布式大数据的事实开源标准软件框架?

2、Hadoop的具体是如何工作?

3、Hadoop的生态架构和每个模块具体的功能是什么?

 

2个主题:Hadoop集群与管理(具备构建并驾驭Hadoop集群能力)

1、 Hadoop集群的搭建

2、 Hadoop集群的监控

3、 Hadoop集群的管理

4、 集群下运行MapReduce程序

 

3主题:彻底掌握HDFS(具备开发自己网盘的能力)

1、HDFS体系架构剖析 

2、NameNode、DataNode、SecondaryNameNode架构

3、保证NodeName高可靠性最佳实践

4、DataNode中Block划分的原理和具体存储方式

5、修改Namenode、DataNode数据存储位置

6、使用CLI操作HDFS

7、使用Java操作HDFS

 

4主题:彻底掌握HDFS(具备修改HDFS具体源码实现的能力)

1、RPC架构剖析  

2、源码剖析Hadoop构建于RPC之上

3、源码剖析HDFS的RPC实现

4、源码剖析客户端与与NameNode的RPC通信

 

 

时间

内容

备注

 

 

 

 

 

 

 

 

 

 

 

 

 

 

第二天

1个主题:彻底掌握MapReduce(从代码的角度剖析MapReduce执行的具体过程并具备开发MapReduce代码的能力)

1、MapReduce执行的经典步骤 

2、wordcount运行过程解析

3、Mapper和Reducer剖析

4、自定义Writable

5、新旧API的区别以及如何使用就API

6、把MapReduce程序打包成Jar包并在命令行运行

 

2个主题:彻底掌握MapReduce(具备掌握Hadoop如何把HDFS文件转化为Key-Value让供Map调用的能力)

1、 Hadoop是如何把HDFS文件转化为键值对的?

2、 源码剖析Hadoop读取HDFS文件并转化为键值对的过程实现

3、 源码剖析转化为键值对后供Map调用的过程实现

 

3个主题:彻底掌握MapReduce(具备掌握MapReduce内部运行和实现细节并改造MapReduce的能力)

1、 Hadoop内置计数器及如何自定义计数器

2、 Combiner具体的作用和使用以及其使用的限制条件

3、 Partitioner的使用最佳实践

4、 Hadoop内置的排序算法剖析

5、 自定义排序算法

6、 Hadoop内置的分组算法

7、 自定义分组算法

8、 MapReduce常见场景和算法实现

 

4个主题:Hadoop集群高级实践(具体Hadoop企业管理员的实际能力)

1、 动态增加Hadoop的Slave节点

2、 动态修改Hadoop的Replication数目

3、 使用命令管理Hadoop集群实践

4、 剖析Hadoop的安全模式

5、 日志剖析实践

 

 

时间

内容

备注

 

 

 

 

 

 

 

 

 

第三天

 

 

 

 

 

 

 

 

 

 

1个主题:实战ZooKeeper(具备理解并通过命令行和Java两种方式操作ZooKeeper的能力)

1、ZooKeeper架构剖析及集群搭建

2、使用命令行操作ZooKeeper

3、使用Java操作ZooKeeper

 

2个主题:实战HBase(具备掌握HBase企业级开发和管理的能力)

1、 HBase架构实现

2、 HBase的数据模型和存储模型

3、 使用CLI操作HBase

4、 使用Java操作HBase

5、 使用MapReduce代码向HBase中导入批量数据

 

3个主题:实战Pig(具备掌握Pig企业级开发和管理的能力)

1、 Pig架构

2、 使用Pig操作数据的内幕

3、 使用Pig实例数据

 

4个主题:实战Hive(具备掌握Hive企业级开发和管理的能力)

1、 Hive架构剖析

2、 Hive在HDFS中存储实现

3、 使用MySQL作为Hive的Metastore

4、 内部表、分区表、外部表、桶表

5、 视图

6、 自定义Hive的函数

 

 

时间

内容

备注

 

 

 

 

 

 

 

 

 

 

 

 

 

第四天

 

 

 

 

 

 

 

 

 

 

1个主题:实战Sqoop(具备使用Sqoop自由转换传统关系型数据库和HDFS中数据的能力)

1、Sqoop架构                              

2、实战Sqoop把MySQL中的数据导入到HDFS中

3、实战Sqoop把HDFS中的数据导入到MySQL中

4、定义Sqoop任务

 

2个主题:实战Flume(具备使用Flume收集和管理分布式日志的能力)

1、 Flume架构体系剖析

2、 Agent配置信息

3、 动态监控文件夹中文件的变化

4、 把数据导入到HDFS中

5、 实例监控文件夹文件的变化并把数据导入到HDFS中

 

3个主题:Hadoop系统管理进阶(具备掌握MapReduce内部运行和实现细节并改造MapReduce的能力)

1、 Hadoop的安全模式

2、 系统监控

3、 系统维护

4、 委任节点和接触节点

5、 系统升级

6、 更多的系统管理工具实战

7、 系统管理最佳实践

 

4个主题:电信日志项目具备掌握Hadoop完整项目的分析、开发、部署的全过程的能力

通过电信商搜集用户接打电话、上网等产生的日志对用户的电话和网络行为进行分析和监控,初步贯穿前面讲解的主要内容,使大家熟悉Hadoop一个完整项目的分析、开发、部署的全过程。

 

 

王家林最受欢迎的一站式云计算大数据和移动互联网解决方案课程 V1(20140809)之Android企业级应用程序开发完整训练:精通Android商业级开发最佳实践的24堂课

从企业级商业实战的角度入手,24小时内通过23个动手实战案例,循序渐进的对Android商业级别的应用程序开发要点各个击破,依托于在多年的Android(6款完整的硬件产品和超过20款应用软件)开发和...
  • Rocky_wangjialin
  • Rocky_wangjialin
  • 2014年08月11日 20:38
  • 1517

王家林Spark 课程,蘑菇云,IMF真相

  • u012016268
  • u012016268
  • 2016年09月27日 22:58
  • 6551

王家林最受欢迎的一站式云计算大数据和移动互联网解决方案课程 V1(20140809)之云计算大数据下MySQL企业级开发最佳实践

云计算大数据下的MySQL具体的用武之地是什么? 如何在大数据下实现可扩展性和高可用性的MySQL? 从企业级开发的角度入手,最短的时间内掌握MySQL的安装配置与使用、MySQLDML特性的高级...
  • Rocky_wangjialin
  • Rocky_wangjialin
  • 2014年08月11日 20:50
  • 916

王家林最受欢迎的一站式云计算大数据和移动互联网解决方案课程 V1(20140809)之HTML5端云整合:智能端应用与云端服务整合开发实战

课程简介:       作为Web与移动开发的新标准的HTML5/JavaScript/CSS3,已经纷纷被手机应该开发采用,这不但让UI极具弹性,而且也更容易与云计算整合。 本课程是云计算与智...
  • Rocky_wangjialin
  • Rocky_wangjialin
  • 2014年08月11日 20:49
  • 547

王家林最受欢迎的一站式云计算大数据和移动互联网解决方案课程 V1(20140809)之Android移动开发高手进阶必修的8堂课

从一个普通的Android开发工程到成为一个高手级别的Android开发者和架构师,需要掌握: 1,  精通Android程序运行的消息驱动机制,包括对整个消息驱动机制所有源码和运行流程的彻底理解;...
  • Rocky_wangjialin
  • Rocky_wangjialin
  • 2014年08月11日 20:43
  • 536

王家林最受欢迎的一站式云计算大数据和移动互联网解决方案课程 V1之Android架构设计和实现完整训练:HAL&Framework&Native Service&Android Service&Bes

如何理解Android架构设计的初心并开发出搭载Android系统并且具备深度定制和软硬整合能力特色产品,是本课程解决的问题。 课程以Android的五大核心:HAL、Binder、NativeSe...
  • Rocky_wangjialin
  • Rocky_wangjialin
  • 2014年08月11日 21:04
  • 1644

王家林最受欢迎的一站式云计算大数据和移动互联网解决方案课程 V1(20140809)之Android软硬整合设计与框架揭秘: HAL&Framework &Native Service &App&HT

掌握Android从底层开发到框架整合技术到上层App开发及HTML5的全部技术; 一次彻底的Android架构、思想和实战技术的洗礼; 彻底掌握Andorid HAL、Android Runti...
  • Rocky_wangjialin
  • Rocky_wangjialin
  • 2014年08月11日 20:41
  • 1861

王家林的81门一站式云计算分布式大数据&移动互联网解决方案课程第二门课程:云计算分布式大数据Hadoop数据库管理员企业级动手实践

一:课程介绍    数据库管理人员如何管理分布式的海量数据,是云计算时代的数据库从业人员面临的核心问题之一,Hadoop提出了解决方案。    本课程从数据库管理人员与系统管理人员的职业角度出发,...
  • wangruoze
  • wangruoze
  • 2014年01月15日 23:14
  • 840

王家林的81门一站式云计算分布式大数据&移动互联网解决方案课程:云计算分布式大数据Hadoop企业级开发动手实践

一:课程简介:     Hadoop是云计算分布式大数据的事实标准软件框架,Hadoop中的架构实现是整个云计算产业技术的基础,作为与Google三大核心技术DFS、MapReduce、BigTab...
  • wangruoze
  • wangruoze
  • 2014年01月15日 23:10
  • 575

王家林的81门一站式云计算分布式大数据&移动互联网解决方案课程第四门课程:云计算架构实例与案例鉴赏

一:课程简介: 首先从国内主要的云计算厂商系统比较和理解云计算架构等入手,然后细致剖析: Google的云计算 亚马逊的AWS 微软云计算平台WindowsAzure VMware云计算 ...
  • wangruoze
  • wangruoze
  • 2014年01月15日 23:18
  • 733
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:王家林最受欢迎的一站式云计算大数据和移动互联网解决方案课程 V1(20140809)之Hadoop企业级完整训练:Rocky的16堂课(HDFS&MapReduce&HBase&Hive&Zookee
举报原因:
原因补充:

(最多只允许输入30个字)