基于腾讯云服务器的Docker环境,使用logstash同步的Kafka中数据时报错partitions have leader brokers without a matching listener

发现是ZK问题,重启ZK后,再同步kafka中数据,logstash日志就正常了。

ZK配置如下:

docker run --name myzk -p 2181:2181 -d jplock/zookeeper

 

Kafka配置如下:

docker run -d --name mykafka --publish 9092:9092 --link myzk --env KAFKA_ZOOKEEPER_CONNECT=myzk:2181 --env KAFKA_ADVERTISED_HOST_NAME=172.17.0.10 --env \
KAFKA_ADVERTISED_PORT=9092 --env KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://xx.xx.xx.xx:9092 --volume /etc/localtime:/etc/localtime wurstmeister/kafka:latest

注意:KAFKA_ADVERTISED_HOST_NAME为云服务器内网IP、KAFKA_ADVERTISED_LISTENERS为外网IP(公网IP)

 

Logstash的配置如下:


input {
        kafka{
                client_id => 'logstash'
                group_id => 'logstash'
                codec => 'json'
                auto_offset_reset => 'earliest'
                bootstrap_servers => 'xx.xx.xx.xx:9092'
                topics_pattern => 'TopicMessageLog'
                max_partition_fetch_bytes => '5242880'
                metadata_max_age_ms => 1000
        }
}

filter{
        if "_jsonparsefailure" in [tags]{
        drop {}
    }
}

output {
   elasticsearch {
        hosts  => ["http://xx.xx.xx.xx:9201/"]
        index => "xx-msg-%{+YYYY-MM}"
    }
        stdout {
                        codec => rubydebug
        }
}

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值