Hadoop子模块的介绍

 Hadoop2.x成员模块介绍

    Zookeeper担任三种角色，领导者，学习者，客户端，主要是一种协调hadoop的机制。

    |---领导者负责投票的发起和决议，更新系统状态。

    |---学习者--|--跟随者--用于接收客户端的请求并向客户端返回 结点，在选过程中负责参与投票

    |--观察者--可以接受客户端的连接，将写请求转发给 领导者，但观察者不参与投票，只同步领导者状态。 目的是扩展系统，提高读取速度。

    |---客户端--|--请求发起方

    Hbase 结构化分布式非关系数据库，BigTable的开源实现。

    Hive  Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 是一种底层封装了Hadoop 的数据仓库处理工具，使用类SQL 的HiveQL 语言实现数据查询，所有Hive 的数据都存储在Hadoop 兼容的文件系统（例如，Amazon S3、HDFS）中。Hive 在加载数据过程中不会对数据进行任何的修改，只是将数据移动到HDFS 中Hive 设定的目录下。

    sqoop将关系型数据库中的数据与HDFS（HDFS文件， HBase中表， Hive表）上的数据进行相互的导入和导出。是数据库ETL工具 >>提取----转换-----加载。。。。从数据库中获取数据，并经过一系列的数据清理和筛选。将合格的数据进行转换成为一定的格式数据进行存储。将格式化的数据存储到HDFS文件系统上，以供计算框架进行数据分析和挖掘。

格式化数据：|

            |------TSV格式：每行数据的每列之间以制表符\t进行分割

            |------CSV格式：每行数据的每列之间以制表符‘，逗号’进行分割。

    Flume 收集日志工具，收集各个应用系统和框架的日志，将其放到HDFS分布式文件系统的相应制定的目录下。

 Mahout:可伸缩的机器学习和数据挖掘工具。

    Pig:高级数据流语言，执行并行计算。

    chukwa：用于管理分布式系统的数据收集系统。