目录
3:写入Kafka - 可以使用kafka channel代替
Apache Hadoop生态-目录汇总-持续更新
系统环境:centos7
Java环境:Java8
Sink 不断地轮询 Channel 中的事件且批量地移除它们,并将这些事件批量写入到存储或索引系统、或者被发送到另一个 Flume Agent。
Sink 组件目的地包括 hdfs、logger(常用语测试)、avro、thrift、ipc、file、HBase、solr、自定义。
1:HDFS Sink
# 1:定义组件
kafka_flume_hdfs.sources = r1
kafka_flume_hdfs.channels = c1
kafka_flume_hdfs.sinks = k1
# 2:定义source
这里主要介绍Channel顾这里省略,到source模块查看写法
# 3: