数据摄取

　　Amazon Kinesis：大规模数据流的实时处理;

　　Apache Chukwa：数据采集系统;

　　Apache Flume：管理大量日志数据的服务;

　　Apache Kafka：分布式发布-订阅消息系统;

　　Apache Sqoop：在Hadoop和结构化的数据存储区之间传送数据的工具;

　　Cloudera Morphlines：帮助 Solr、HBase和HDFS完成ETL的框架;

　　Facebook Scribe：流日志数据聚合器;

　　Fluentd：采集事件和日志的工具;

　　Google Photon：实时连接多个数据流的分布式计算机系统，具有高可扩展性和低延迟性;

　　Heka：开源流处理软件系统;

　　HIHO：用Hadoop连接不同数据源的框架;

　　Kestrel：分布式消息队列系统;

　　LinkedIn Databus：对数据库更改捕获的事件流;

　　LinkedIn Kamikaze：压缩已分类整型数组的程序包;

　　LinkedIn White Elephant：日志聚合器和仪表板;

　　Logstash：用于管理事件和日志的工具;

　　Netflix Suro：像基于Chukwa 的Storm和Samza一样的日志聚合器;

　　Pinterest Secor：是实现Kafka日志持久性的服务;

　　Linkedin Gobblin：LinkedIn的通用数据摄取框架;

　　Skizze：是一种数据存储略图，使用概率性数据结构来处理计数、略图等相关的问题;

　　StreamSets Data Collector：连续大数据采集的基础设施，可简单地使用IDE。

转载于:https://my.oschina.net/KK8FVfXw/blog/740274