hadoop 理论

1、Hadoop 安装配置及运行机制解析

Hadoop 概念

Hadoop起源于Google的三大论文
GFS：Google的分布式文件系统Google File System
MapReduce：Google的MapReduce开源分布式并行计算框架
BigTable：一个大型的分布式数据库
GFS—->HDFS
Google MapReduce—->Hadoop MapReduce
BigTable—->HBase

hadoop
1.高可靠性：底层维护多个数据副本，某个出现故障，数据也不会丢失
（副本存放如下）

2.高扩展性：在分配任务数据，可方便扩展千计节点
3.高效性：mapreduce思想下，hadoop是并行工作的
4.高容错性：自动分配失败任务

hadoop 1.x —— mapreduce（计算+资源）——HDFS（数据存储）——common（辅助工具）

hadoop 2.X——maperduce(计算）——yarn（资源调度）——HDFS（数据存储）——common（辅助工具）

hadoop 2.x Mapreduce 负责运行 yarn起到解耦的作用

Hadoop 单机、伪分布及集群模式的安装配置步骤 如何通过命令行和浏览器观察 Hadoop 的运行状态
【熟知】Hadoop 单机、伪分布及集群模式的安装配置过程和内容 Hadoop 参数格式 Hadoop 参数的修改与优化 Hadoop 的安全模式
【应用】进行 Hadoop 集群的配置 查看和管理 Hadoop 集群 Hadoop 运行的日志信息查看与分析

2、HDFS 分布式文件系统

【领会】HDFS 的概念及设计 HDFS 体系结构及运行机制， NameNode、DataNode、SecondaryNameNode 的作用及运行机制 HDFS 的备份机制和文件管理机制 【熟知】HDFS 的运行机制 NameNode、DataNode、SecondaryNameNode 的配置文件 HDFS 文件系统的常用命令 【应用】
使用命令及 Java 语句操作 HDFS 中的文件 使用 JPS 查看 NameNode、DataNode、SecondaryNameNode 的运行状态

3、MapReduce 理论及实战

【领会】MapReduce 的概念及设计 MapReduce 运行过程中类的调用过程 Mapper 类和 Reducer 类的继承机制 job 的生命周期 MapReduce 中 block 的调度及作业分配机制 【熟知】MapReduce 程序编写的主要内容 MapReduce 程序提交的执行过程 MapReduce 程序在浏览器的查看 【应用】Mapper 类和 Reducer 类的主要编写内容和模式 job 的实现和编写 编写基于 MapReduce 模型的 wordcount 程序 相应 jar 包的打包和集群运行

4、Hadoop 生态其他常用组件

【领会】HBase 基本功能、Hive 基本功能、Sqoop 基本功能、ZooKeeper 的基本功能、Flink 基本 功能 【熟知】HBase 的安装配置及常用命令、Hive 的安装配置及常用命令、Sqoop 的安装配置及常用 命令、ZooKeeper 的安装配置及常用命令、Flink 安装配置及常用命令 【应用】HBase、Hive、Sqoop、Flink 及 ZooKeeper 的安装与运行