flume架构选择
flume上游组件的选择
Source:tailDir
进行监听本地文件的变动,可以找到最新的文件或数据进行采集
Channel:fileChannel
它虽然慢,但是安全性高
Sink:avro
通过网络进行传输,客户端发送到服务端。上游监听下游的端口,下游监听上游的端口。
flume下游组件的选择
Source: avro
Channel: fileChannel
Sink: HDFS
服务端监听客户端的事件,先配置服务端,如果先启动客户端会报错,找不到服务器。服务端启动之后,只需要等待监听客户端就可以。