Flume-HBase-Kafka

一、各自介绍

1.Flume简介和特征

一、简介
Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。
二、特征

1. Flume可以高效率的将多个网站服务器中收集的日志信息存入HDFS/HBase中
2. 使用Flume，我们可以将从多个服务器中获取的数据迅速的移交给Hadoop中
3. 除了日志信息，Flume同时也可以用来接入收集规模宏大的社交网络节点事件数据，比如facebook,twitter,电商网站如亚马逊，flipkart等
4. 支持各种接入资源数据的类型以及接出数据类型
5. 支持多路径流量，多管道接入流量，多管道接出流量，上下文路由等
6. 可以被水平扩展

2.HBase简介和特征

一、简介
HBase是一个分布式的、面向列的开源数据库。就像Bigtable利用了Google文件系统所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。
二、特性
· 强读写一致