Flume
我在北国不背锅
致力于AI大模型、Java、大数据、运维及各类计算机技术为一体的知识架构
展开
-
flume采集多个文件夹日志
在flume1.6版本及之前,如果想要监控多个目录下的多个文件,可以使用Filelistener,在flume1.7之后,增加了TAILDIR,主要是监控文件的变化 参考配置: #配置Agent a1 的组件 a1.sources=r1 a1.sinks=s1 a1.channels=c1 #描述/配置a1的source1 a1.sources.r1.type=TAILDIR #偏移量文件 a1.sources.r1.positionFile = /opt/module/flume/data/taild原创 2020-07-01 15:02:13 · 4548 阅读 · 0 评论 -
flume实时采集MySQL数据到kafka
1、flume安装(省略) 2、kafka安装(省略) 3、在${FLUME_HOME}/conf下创建mysql_conf.properties 可参考(1): agent.sources = sql-source a1.channels = ch1 a1.sinks = kafka a1.sources.sql-source.channels = ch1 a1.sources.sql-source.connection.url = jdbc:mysql://192.168.1.185:3306/dat原创 2020-06-10 15:26:04 · 4202 阅读 · 2 评论 -
Flume实时采集日志数据写入到Kafka
一、为flume构建agent 先进去flume下的配文件夹里面 (此处我的配置文件夹名字为:myconf) 编写构建agent的配置文件(命名为:flume2kafka.conf) flume2kafka.conf # 定义这个agent中各组件的名字 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # 描述和配置source组件:r1 a1...原创 2019-11-01 17:53:24 · 11455 阅读 · 3 评论