Flume
我在北国不背锅
致力于AI大模型、Java、大数据、运维及各类计算机技术为一体的知识架构
展开
-
flume采集多个文件夹日志
在flume1.6版本及之前,如果想要监控多个目录下的多个文件,可以使用Filelistener,在flume1.7之后,增加了TAILDIR,主要是监控文件的变化参考配置:#配置Agent a1 的组件a1.sources=r1a1.sinks=s1a1.channels=c1 #描述/配置a1的source1a1.sources.r1.type=TAILDIR#偏移量文件a1.sources.r1.positionFile = /opt/module/flume/data/taild原创 2020-07-01 15:02:13 · 4546 阅读 · 0 评论 -
flume实时采集MySQL数据到kafka
1、flume安装(省略)2、kafka安装(省略)3、在${FLUME_HOME}/conf下创建mysql_conf.properties可参考(1):agent.sources = sql-sourcea1.channels = ch1a1.sinks = kafkaa1.sources.sql-source.channels = ch1a1.sources.sql-source.connection.url = jdbc:mysql://192.168.1.185:3306/dat原创 2020-06-10 15:26:04 · 4201 阅读 · 2 评论 -
Flume实时采集日志数据写入到Kafka
一、为flume构建agent先进去flume下的配文件夹里面 (此处我的配置文件夹名字为:myconf) 编写构建agent的配置文件(命名为:flume2kafka.conf)flume2kafka.conf# 定义这个agent中各组件的名字a1.sources = r1a1.sinks = k1a1.channels = c1 # 描述和配置source组件:r1a1...原创 2019-11-01 17:53:24 · 11452 阅读 · 3 评论