Hadoop相关子项目整理

Pig

Hadoop客户端

使用类似于SQL的面向数据流的语言Pig Latin

Pig Latin可以完成排序，过滤，求和，聚组，关联等操作，可以支持自定义函数

Pig自动把Pig Latin映射为Map-Reduce作业上传到集群运行，减少用户编写java程序的烦恼

三种运行方式：GruntShell，脚本方式，嵌入式

 

Hbase

Google Bigtable的开源实现

列式数据库

可集群化

可以使用shell、web、api等多种方式访问，通过api函数对数据库进行操作

适合高读写（insert）的场景：大量数据向数据库中写入，读出

HQL查询语言：Hbase Query Language

NoSQL的典型代表产品

 

Hive 蜂巢

数据仓库工具，可以把hadoop下的原始结构化数据变成Hive中的表

支持一种与SQL几乎完全相同的语言HiveQL.。除了不支持更新、索引和事务，几乎SQL的其它特征都能支持

可以看成是从SQL到Map-Reduce的映射器

提供shell,JDBC/ODBC,Thrift，Web等接口

 

Zookeeper动物园管理员:通信协调软件：Hbase数据节点之间的协调

Google Chubby的开源实现

用于协调分布式系统上的各种服务。例如确认消息是否准确到达，，防止单点失效，处理负载均衡等

应用场景：Hbase，实现Namenode自动切换

工作原理：领导者，跟随者以及选举过程

 

Sqoop

用于在Hadoop和关系型数据库之间交换数据

通过JDBC接口连入关系型数据库（mysql）

 

Avro鹰

数据序列化工具，由Hadoop的创始人Doug Cutting主持开发

如：java中产生数据，存入磁盘，需要先序列化

用于支持大批量数据交换的应用。支持二进制序列化方式，可以便捷，快速地处理大量数据

动态语言友好，Avro提供的机制使动态语言可以方便地处理Avro数据

Thrift接口

 

Chukwa乌龟

架构在Hadoop之上的数据采集与分析框架

主要进行日志采集和分析（自动化，周期化像ETL工具）

通过安装在收集节点的“代理”采集最原始的日志数据

代理将数据发给收集器

收集器定时将数据写入Hadoop集群

指定定时启动的Map-Reduce作业队数据进行加工处理和分析

Hadoop基础管理中心（HICC）最终展示数据

 

Cassandra（没落于hbase）

NoSQL,分布式的Key-Value型数据库，由Facebook贡献给apache

与Hbase类似，也是借鉴Google Bigtable的思想体系

只有顺序写，没有随机写的设计，满足高负荷轻型的性能需求