远程客户端连接Kafka

一、原因描述


安装好Kafka(服务端ip为192.168.116.128 (本地虚拟机) ),在Linux服务器上使用 kafka-console-consumer和 kafka-console-producer ,进行生产者和消费者测试,能进行正常的接发消息。但是通过远程客户端的作为生产者,无法与kafka服务端建立连接。
 
二、问题排查

      1、排查是不是服务器的防火墙原因,导致服务器的9092端口不能被window连接上,在window上执行telnet 192.168.116.128 9092,发现端口是可以被连通的,排除了这个原因。
       2、Kafka更改配置文件才能实现被远程访问
 
             打开config/server.properties配置文件,更改如下
            把36行的注释去掉,把advertised.listeners值改为 PLAINTEXT://host_ip:9092 (我的服务器ip是192.168.116.128)
 
            如果没有配置内部的IP地址,默认地址为java.net.InetAddress.getCanonicalHostName(),在存在多个网卡的情况可能不能找到正确的IP地址,建议手动 配置host.name的值
 
 
listeners配置用于内网通信
 
listeners=<协议名称>://<内网ip>:<端口>
advertise.listeners配置暴露出去的listener
 
 
三、 在云服务器中搭建kafka

在云服务器中搭建kafka集群配置,直接配置 host.name 配置和 port 配置
 
#本地IP
host.name=${IP}
port=9091
#公网IP
advertised.host.name=${IP}
 
 
 
  • 0
    点赞
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
第一章 需求 对方的网页文件接入到我方服务器。每个文件要知道其:网站、采集时间等。 通过消息队列将多个远程服务器上的【数据文件】源源不断的接入到本地服务器,数据文件是下载下来的网页,传输过来的时候还要带上来自的网站和下载日期等信息。 目前讨论消息队列用Kafka。 第二章 基本方案 1、我现在能想到的就是: 远程服务器编写程序, 不停读取文件的内容成为一个字符串,然后再加上来自的网站、下载日期等信息,组合成一个JSON字符串,通过调用kafka的生产者API将字符串写入Kafka。 2、JSON数据格式设计: { “source”: “来源网站名” , “filename” : “html文件名”, “download-date”: “下载日期” , ”content” : “一个html文件的全部字符串 “ } 注:假设.js \.css \.png文件都不需要 3、消息主题的设计: 一个网站对应一个topic,对应到本地的一个文件夹。 4、其他: 如果只是传输文件,不考虑加上网站、下载日期等信息的话,我知道的用Flume可能更方便,但是要加上网站、下载日期的信息(类似主题订阅的功能),flume就不太方便了? 5、可能存在的顾虑:网页数据文件对数据顺序性的要求的程度。 Kafka单分区的情况小支持消息有序性, 多分区下确保消息有序的方案还需深入调研。 如果之后一个主题下对应的网页文件没有特别的传输顺序要求,这一块应该会容易处理很多。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值