Flume
訾零
做喜欢的事,过玩味的生活。
展开
-
Flume 单节点安装连接 kafka
阿里镜像:flume1. 解压安装cd /opt/apps/tar -zxvf apache-flume-1.9.0-bin.tar.gzmv apache-flume-1.9.0-bin flume-1.9.02. 添加环境变量echo 'export FLUME_HOME=/opt/apps/flume-1.9.0' >> /etc/profile \...原创 2020-03-13 12:10:08 · 422 阅读 · 0 评论 -
Flume-taildirSource模式应用
应该场景为监控上传的日志文件目录,日志文件分为sdk和api两种Json格式文件,Flume采用断点续传,对两个类型文件目录进行监控,对类型进行区分,并过滤Json格式不合法的日志,最后发送到Kafka对应类型的Topic。平台:CDH6.2,Flume1.9配置CDH -> Flume -> 实例 -> 选择节点 -> 配置配置a1.s...原创 2019-09-03 11:41:25 · 784 阅读 · 0 评论 -
Flume消费Kafka数据写入HDFS
在一个节点上开启Flume,消费Kafka中的数据写入HDFS。CDH环境Flume -> 实例 ->选择节点 -> 配置 -> 配置文件## 组件a1.sources=r1a1.channels=c1a1.sinks=k1## sourcea1.sources.r1.type = org.apache.flume.source.kafka...原创 2019-09-04 10:36:27 · 1629 阅读 · 0 评论