大数据学习之Flume篇——未完待续

Flume作为现在最常用的日志收集工具之一，目前已经更新到了1.8.0版本，我们以最新版本开始进行我们的学习。整个学习过程以官方文档为主，辅助是参考了SteveHoffman编写的《Flume日志收集与MapReduce模式》一书。

首先要明确几个定义： Source、Channel、Sink
Source：源；表示我们收集日志的数据源
Channel：通道；表示数据传输过程中途径的通道，我们可以在源到Sink中间进行一些处理操作
Sink：目的地；表示我们需要最终要将收集到的日志输出到的地方

Flume官方支持的几种常见Source的实现:（这里面我只详细写了我应用过/测试过的Source类型）

1. Avro Source:Avro Netty RPC event source
2. exec Source:Execute a long-lived Unix process and read from stdout
3. Thrift Source
4. JMS Source
5. Spooling Directory Source:
6. Taildir Source
7. Twitter 1% firehose Source
8. Kafka Source
9. NetCat TCP Source
10. NetCat UDP Source
11. Sequence Generator Source
12. Syslog Sources
13. HTTP Source
14. Stress Source
15. Legacy Sources
16. Custom Source
17. Scribe Source

Flume官方支持的几种常见Sink的实现:

1. Flume Sinks
2. HDFS Sink
3. Hive Sink
4. Logger Sink
5. Avro Sink
6. Thrift Sink
7. IRC Sink
8. File Roll Sink
9. Null Sink
10. HBaseSinks
11. HBaseSink
12. AsyncHBaseSink
13. MorphlineSolrSink
14. Elast