Flume
日志采集工具
遥遥晚风点点
大数据,java
展开
-
Flume监听kafka文件源写入hdfs
环境准备1,启动hdfs,zookeeper2,kafka创建topic,并生产数据:bin/kafka-topics.sh --create --topic app_log --partitions 2 --replication-factor 2 --zookeeper linux01:2181bin/kafka-console-producer.sh --broker-list linux01:9092 --topic app_logflume配置文件配置文件路径在flum原创 2020-09-01 22:37:00 · 491 阅读 · 0 评论 -
Flume安装启动,入门案例
安装1,上传解压tar -zxvf apache-flume-1.9.0-bin.tar.gz -C ./ok,完成,解压即用2,启动根据数据采集的需求配置采集方案,描述在配置文件中(文件名可任意自定义)启动命令示例:bin/flume-ng agent -c ./conf ...开启内置监控功能:-Dflume.monitoring.type=http -Dflume.monitoring.port=34545入门案例taildir source + memor原创 2020-08-30 21:03:44 · 242 阅读 · 0 评论