服务器上装的hadoop系统,Hadoop系统搭建及项目实践

项目1 Hadoop基础知识

任务1 认识Hadoop

1.1.1 Hadoop的由来

1.1.2 关于Hadoop的版本

任务2 理解Hadoop体系架构

1.2.1 Hadoop 1.x和Hadoop 2.x的区别

1.2.2 HDFS架构

1.2.3 MapReduce架构

任务3 理解Hadoop与分布式开发

任务4 Hadoop应用案例简介

项目2 Hadoop安装与配置管理

任务１Hadoop环境的搭建与配置

2.1.1安装VMware

2.1.2安装CentOS

2.1.3安装JDK

任务２Hadoop的安装模式

2.2.1 单机安装

2.2.2 分布式安装

任务3 Hadoop的启动与验证

2.3.1 格式化HDFS

2.3.2 Hadoop的守护进程

2.3.3 验证集群HDFS

项目3 HDFS技术

任务１ 认识HDFS

3.1.1 HDFS产生的背景

3.1.2 HDFS简介

3.1.3 HDFS的特点

任务２了解HDFS架构

3.2.1 HDFS读取和写入数据

3.2.2 元数据节点和数据节点

3.2.3 辅助元数据节点

3.2.4 安全模式

任务3 Hadoop shell命令

3.3.1 命令格式

3.3.2 HDFS命令

3.3.3 HDFS管理员命令

项目4 MapReduce技术

任务１认识MapReduce

4.1.1MapReduce简介

4.1.2MapReduce编程模型概念

4.1.3MapReduce架构的基本概念

4.1.4应用实例——词频统计

4.1.5使用Eclipse创建Java工程

4.1.6WordCount代码实现

任务2 MapReduce编程基础

4.2.1 剖析MapReduce编程过程

4.2.2 Map工作过程

4.2.3 Reduce工作过程

4.2.4 Job工作过程

4.2.5 Shuffle过程

4.2.6 MapReduce的输入/输出格式

4.2.7 MapReduce的优化

任务3 MapReduce高级编程

4.3.1 数据去重

4.3.2 数据排序

项目5 Hadoop I/O操作

任务１了解数据完整性

5.1.1校验和

5.1.2数据块检测程序

任务2 基于文件的数据结构

5.2.1 SequenceFile存储

5.2.2 MapFile存储

5.2.3 SequenceFile转换成MapFile

任务3 压缩

5.3.1 Hadoop中压缩格式的实现Codec

5.3.2 本地库

任务4 序列化

5.4.1 Hadoop序列化

5.4.2 Writable和WritableComparable接口

5.4.3 Writable类

项目6 HBase技术

任务１了解HBase

6.1.1 HBase是什么

6.1.2 搭建HBase环境

任务2 理解HBase体系架构

6.2.1 架构简介

6.2.2 理解HBase数据模型

6.2.3 概念视图

6.2.4 物理视图

6.2.5 HBase的命名空间

6.2.6 HBase表、行与列族

任务3 HBase shell基本操作

任务4 HBase API操作

6.4.1 HBase API类

6.4.2 HBase Java API操作

任务5 基于HBase API的应用

6.5.1 Scan

6.5.2 过滤器

6.5.3 协处理器

6.5.4 计数器

项目7 ZooKeeper技术

任务１了解ZooKeeper

7.1.1 ZooKeeper是什么

7.1.2 ZooKeeper的特征

7.1.3 ZooKeeper的架构

7.1.4 ZooKeeper的工作原理

7.1.5 ZooKeeper数据模型

任务2 搭建ZooKeeper 环境

7.2.1 ZooKeeper准备

7.2.2 ZooKeeper配置

7.2.3 启动ZooKeeper3.4.14

任务3 ZooKeeper常用命令

7.3.1 ZooKeeper客户端命令

7.3.2 ZooKeeper服务器命令

任务4 ZooKeeper API操作

7.4.1 ZooKeeper API 准备

7.4.2 ZooKeeper API应用

项目8 分布式数据仓库技术Hive

任务１认识Hive

任务2 Hive服务组成

任务3 Hive的安装和配置

8.3.1 Hive的基本安装

8.3.2 MySQL的安装

8.3.3 Hive的配置

任务4 Hive shell

任务5 HiveQL详解

8.5.1 Hive数据管理方式

8.5.2 Hive表DDL操作

8.5.3 Hive表DML操作

项目9 分布式数据分析工具Pig

任务1 了解Pig

任务2 Pig的安装

任务3 Pig保留关键字

9.3.1 Pig数据类型

9.3.2 null

9.3.3 Pig相关命令

任务4 使用 Pig

9.4.1 Pig 命令行选项

9.4.2 Pig 的两种运行模式

9.4.3 Pig的相关 shell 命令详解

9.4.4 Pig程序运行方式

9.4.5 Pig输入与输出

任务5 模式

任务6 Pig相关函数详解

9.6.1 Pig常用函数

9.6.2 数组操作函数

9.6.3 过滤函数

9.6.4 数据操作函数

9.6.5 聚合函数

项目10 Hadoop与RDBMS数据迁移工具Sqoop

任务1 Sqoop的安装

任务２ Sqoop配置

任务3 Sqoop相关功能

10.3.1 Sqoop基本操作

10.3.2 使用Sqoop导入MySQL数据到HDFS

10.3.3 使用Sqoop导出HDFS数据到MySQL

10.3.4 使用Sqoop导入MySQL数据到Hive

10.3.5 Sqoop Job

任务4 Hive、Pig和Sqoop的关系

项目11 Hadoop实时数据处理技术

任务1 Storm YARN

11.1.1 Apache Storm的组成结构

11.1.2 Storm数据流

11.1.3 Storm YARN产生的背景

11.1.4 Storm YARN功能介绍

任务２Apache Spark

11.2.1 Apache Spark的组成结构

11.2.2 Apache Spark的扩展功能

任务3 Storm与Spark的比较

参考文献