Flume简介
1. flume是什么
- 官网
http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#hdfs-sink
- Flume 简单结构
2. flume解决什么问题
- 在海量数据处理中,日志数据是很重要一类数据
- 如何从集群中将日志文件采集出来,并且考虑各种失败重试等机制是比较复杂的问题,要代码实现也比较消耗精力。这时候各种第三方框架就应运而生。
- flume作为hadoop母公司cloudera出品的分布式日志采集框架,质量还是有保证的。
- flume可以从各种数据源上采集数据,日志数据形式可以多种多样,然后汇聚到各种大数据存储系统中,hdfs&