云计算 第六章 Hadoop 2.0 大家族

• 
  

6.1 Hadoop 2.0大家族概述

6.1.1 分布式组件

1.组件简介

2.组件分类

6.1.2 部署概述

1.Apache社区版分布式组件部署步骤：

2.商业版（Cloudera或Hortonworks）部署步骤：

3.部署规划

集群共五台机器，cMaster为主节点，cProxy为主节点代理，其他为Slave节点，注意iClient并不属于集群，用户还须确保集群中所有机器和iClient都可以连网。

4商用版Hadoop部署

6.2 ZooKeeper

6.2.1 ZooKeeper简介

1.ZooKeeper工作过程

Pa产生这条消息后将此消息注册到ZooKeeper中，Pb需要这条消息时直接从ZooKeeper中读取即可。

6.2.2 ZooKeeper 入门

1.ZooKeeper部署

2.ZooKeeper接口

ZooKeeper主要提供了Shell接口和编程接口，其中Shell接口提供了管理

ZooKeeper最常用的操作，编程接口则更加灵活，比如使用ZooKeeper实现上文所述的两进程Pa与Pb通信等。

6.3 Hbase

6.3.1 Hbase简介

1.Hbase数据模型

Hbase采用master/slave架构

6.3.2 Hbase入门

1.Hbase部署

2.Hbase接口

下面简单罗列Hbase和关系型数据库的区别：

6.4 Pig

6.4.1 Pig简介

1.Pig基本框架

Pig相当于一个Hadoop的客户端，它先连接到Hadoop集群，之后才能在集群上进行各种操作。Pig的基本框架如下图所示。

2.Pig语法

6.4.2 Pig入门

6.5 Hive

6.6 Oozie

6.7 Flume

6.8 Mahout

6.9 小结

【学习笔记合集】

• 云计算 第一章 大数据与云计算
• 云计算 第二章 Google云计算原理机应用
• 云计算 第三章 Amazon云计算AWS
• 云计算 第四章 微软云计算 Windows Azure
• 云计算 第五章 Hadoop 2.0 主流开源云架构

【学习资料】

• 教材：《云计算（第三版）刘鹏》
• PPT下载