hadoop课程大纲
一、Hadoop入门,了解什么是hadoop | 1、 Hadoop产生背景 |
二、分布式文件系统HDFS,是数据库管理员的基础课程 | 1、 分布式文件系统DFS简介 |
| 1、 如何理解map、reduce计算模型 |
| 1、 使用压缩分隔减少输入规模 |
五、Hadoop集群与管理,是数据库管理员的高级课程 | 1、 Hadoop集群的搭建 |
六、ZooKeeper基础知识,构建分布式系统的基础框架 | 1、ZooKeeper体现结构 |
七、HBase基础知识,面向列的实时分布式数据库 | 1、 HBase定义 |
八、HBase集群及其管理 | 1、集群的搭建过程讲解 |
九、HBase客户端 | 1、 HBase Shell以及演示 |
十、Pig基础知识,进行hadoop计算的另一种框架 | 1、 Pig概述 |
十一、Hive,使用sql进行计算的hadoop框架 | 1、 数据仓库基础知识 |
十二、Sqoop,hadoop与rdbms进行数据转换的框架 | 1、配置Sqoop |
十三、论坛日志分析项目 | 该项目的数据来自于某网站论坛的日志,该项目是为本课程量身定做的,非常适合我们hadoop课程学习。 有的同学觉得应该介绍更多项目,其实做过几个项目后,就会发现项目的思路是相同的,只是业务不同而已。 大家写过这个项目后,就对hadoop的各个框架在项目中是如何使用的,有个比较清晰的认识,对hadoop与javaEE结合有个比较清晰的认识了。 |