一、课程目标
了解Hadoop的历史及目前发展的现状、以及Hadoop的技术特点,从而把握分布式计算框架及未来发展方向,在大数据时代能为企业的技术选型及架构设计提供决策参考。
全面掌握Hadoop的架构原理和使用场景,并通过贯穿课程的项目进行实战锻炼,从而熟练使用Hadoop进行MapReduce程序开发。课程还涵盖了整个Hadoop生态体系结构中的组件,让学员全面了解并学习Hadoop的生态系统。
深入理解Hadoop技术架构,对Hadoop运作机制有清晰全面的认识,可以独立规划及部署生产环境的Hadoop集群,掌握Hadoop基本运维思路和方法,对Hadoop集群进行管理和优化。
二、适用人群
① 已经掌握Java开发语言,并想进一步学习大数据的学员。
② 大数据项目的开发工程师和运维工程师
③ 大数据分析平台架构师
④ 大数据挖掘处理算法应用工程师
⑤ 大数据项目的规划咨询管理人员
⑥ 大数据项目的售前和售后技术支持服务人员
⑦ 有一定的计算机系统基础知识(如Linux操作系统知识)
三、培训特色和时长
定制授课+ 案例分析讲解 + 实战操作
四、授课讲师
赵强老师,清华大学软件工程专业毕业。曾就职于Oracle(中国)有限公司高级技术顾问,在Oracle公司服务已超过11年。业界知名的Oracle数据库专家和大数据专家,精通Oracle数据库、大数据、Weblogic中间件和Java技术。
五、课程大纲
一、Hadoop的起源与背景知识 (一)什么是大数据 (二)OLTP与OLAP (三)数据仓库 (四)Google的基本思想:(核心重点)
二、搭建实验环境
三、Apache Hadoop的体系结构(核心重点) (一)分布式存储:HDFS (二)YARN: 分布式计算(MapReduce) (三)HBase的体系结构
四、Hadoop 的安装与配置 (一)Hadoop安装部署的预备条件 (二)Hadoop的目录结构 (三)Hadoop安装部署的三种模式 (四)验证Hadoop环境 (五)配置SSH免密码登录
五、Hadoop应用案例分析 (一)互联网应用的架构 (二)日志分析 (三)Hadoop在淘宝的应用
六、分布式文件系统:HDFS (一)HDFS的命令行操作 (二)HDFS的Java API (三)HDFS的Web Console (四)HDFS的回收站 (五)HDFS的快照 (六)HDFS的用户权限管理 (七)HDFS的配额管理 (八)HDFS的安全模式 (九)HDFS的底层原理
七、分布式计算模型:MapReduce (一)MapReduce在Yarn平台上 运行过程 (二)第一个MapReduce程序:WordCount (三)WordCount的数据流过程 (四)使用MapReduce处理数据 (五)Shuffle的过程 (六)使用MRUnit进行单元测试过程 (七)MapReduce作业任务的管理 (八)MapReduce案例集锦 (十)搭建Hadoop的Eclipse开发环境
八、数据仓库:Hive (一)什么是Hive (二)Hive的体系结构 (三)Hive的管理 (四)Hive的数据类型 (五)Hive的数据模型 (六)Hive数据的导入 (七)Hive的查询 (八)Hive的客户端操作:JDBC (十)Hive的自定义函数 | 九、数据分析引擎:Pig (一)什么是Pig? (二)Pig的体系结构 (三)Pig的安装和工作模式 (四)Pig的内置函数 (五)使用Pig Latin语句分析数据 (六)Pig的自定义函数
十、NoSQL数据库:HBase (一)什么是HBase? (二)HBase的体系结构 (三)HBase的表结构和数据模型 (四)HBase的安装和部署 (五)-ROOT-和.META. (六)HBase Shell (七)HBase的Java编程接口 (八)HBase上的过滤器 (九)HBase上的MapReduce (十)HBase的HA
十一、数据交换引擎:Sqoop (一)什么是Sqoop? (二)Sqoop是如何工作? (三)使用Sqoop
十二、数据采集引擎:Flume (一)什么是Flume? (二)Flume的体系结构 (三)安装和配置Flume (四)使用Flume采集日志数据
十三、大数据UI系统:HUE (一)什么是HUE? (二)HUE所需要的rpm包 (三)HUE与Hadoop集成 (四)HUE与HBase集成 (五)HUE与Hive集成 (六)HUE的文档
十四、分布式协调服务:ZooKeeper (一)什么是ZooKeeper? (二)ZooKeeper的体系结构 (三)Zookeeper能帮我们做什么? (四)安装和配置Zookeeper (五)操作Zookeeper (六)ZooKeeper的分布式锁:秒杀的实现
十五、Hadoop的集群和HA (一)HDFS的联盟 (二)利用ZooKeeper实现Hadoop的HA |
Copyright © 2004-2017 JD.COM 京东版权所有 Power by 企业信息化部