flume
qzWsong
这个作者很懒,什么都没留下…
展开
-
监控flume状态 异常之后 自动重启
1原创 2021-04-09 12:14:26 · 377 阅读 · 0 评论 -
flume 设置 ‘HA‘模式
上游每个flume都配两个sink,而且这两个作为一个组,组策略为fail over processor(失败切换另一个avro-sink)下游收集者,配置两个flume,一个作为主,一个作为备, 而且上游的 主avro-sink发送到 主avro-source备avro-sink发送到 备avro-source,那么,万一下游汇聚者1 主avro-sources 挂掉了,上游的avro-sink会自动切换到备avro-sink,备avro-source开始工作这就是flume通过配置实现H...原创 2021-03-03 08:58:31 · 286 阅读 · 0 评论 -
flume多路选择器,拦截器,sink-kafka,sinke-hdfs
需求 :a.log里有两类log ,waimai的和mall的,我现在需要用flume采集log数据,waimai的采集到hdfs,mall的采集到kafka。需要定义两个channel,两个sink一个channel接hdfs,一个接kafka,我们需要配置一个多路选择器,flume采集到一条数据要放到哪个channel 需要根据这个数据的header中的标记信息判断,如果是waimai放到hdfs channel,否则kafka channel但是数据header中肯定是没有这个fla...原创 2021-03-02 22:42:13 · 267 阅读 · 0 评论