大数据之flume:常见问题和解决办法

  1. 在进行flume订阅kafka产生的错误:org.apache.flume.conf.ConfigurationException

解决办法:我安装的flume是1.5,但是配置文件写法参考的是1.7,flume版本不同,配置文件的写法也不同,所以运行报错,改成1.5的配置写法就可以了(目前没找到1.5中对于kafka.topic.regex这种主题名称正则匹配的方式,只好先采用多source的写法)

1.7版本:
a1.sources.r1.kafka.topics.regex = ^topic-app-.*$
a1.sinks.k1.kafka.bootstrap.servers = hh:9092


而1.5版本:
#k1
a1.sources.r1.topic = topicName1
a1.sources.r1.brokerList = hh:9092
#k2
a1.sources.r2.topic = topicName2
a1.sources.r2.brokerList = hh:9092

注:多个source sinks channel配置写法,可参考https://blog.csdn.net/chenzhenguo123/article/details/84578957

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值