使用Apache Flume抓取数据,怎么来抓取呢?不过,在了解这个问题之前,我们必须明确ApacheFlume是什么?
一、什么是Apache Flume
Apache Flume是用于数据采集的高性能系统 ,名字来源于原始的近乎实时的日志数据采集工具,现在广泛用于任何流事件数据的采集,支持从很多数据源聚合数据到HDFS。
最初由Cloudera开发 ,在2011年贡献给了Apache基金会 ,在2012年变成了Apache的顶级项目,Flume OG升级换代成了Flume NG。
Flume具有横向扩展、延展性、可靠性的优势
二、Flume 体系结构
Source:接受外部系统生成event
Sink:发送event到指定的目的地
Channel:从Source缓存event,直到Sink把event取走
Agen