kafka配置远程连接

22 篇文章 0 订阅

要想实现在本地连接服务器的kafka,则必须在远程kafka配置远程连接

默认的 kafka 配置是无法远程访问的,解决该问题有几个方案。

方案1

advertised.listeners=PLAINTEXT://IP:9092

注意必须是 ip,不能是 hostname

方案2

advertised.listeners=PLAINTEXT://node0:9092

node0 是 hostname,需在 /etc/hosts 中 添加一行

172.16.89.80 node0

云服务器如何配置远程连接:

局域网一般配置listeners=PLAINTEXT://局域网ip:9092就可以了

但是如果是云服务器,还需要配置advertised.listeners=PLAINTEXT://公网ip:9092,如果是云服务器应该配置两个:

listeners=PLAINTEXT://云服务器局域网ip:9092

advertised.listeners=PLAINTEXT://公网ip:9092

然后 必须在 远程机(要访问 kafka 的机器 windows)上修改 hosts文件,

C:\Windows\System32\drivers\etc\hosts

在末尾加上 

IP1  节点1
IP2  节点2

节点名与服务器上的 hostname 相同。

测试异常记录

WARN [Consumer clientId=consumer-1, groupId=console-consumer-4184] Connection to node -1 (/172.16.89.80:9092) could not be established. Broker may not be available
. (org.apache.kafka.clients.NetworkClient)

kafka 配置 与 console 启动的 ip 不一致,如 配置文件中 listeners=PLAINTEXT://172.16.89.80:9092,启动 是  localhost

kafka.errors.NoBrokersAvailable: NoBrokersAvailable

listeners=PLAINTEXT://172.16.89.80:9092

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
第一章 需求 对方的网页文件接入到我方服务器。每个文件要知道其:网站、采集时间等。 通过消息队列将多个远程服务器上的【数据文件】源源不断的接入到本地服务器,数据文件是下载下来的网页,传输过来的时候还要带上来自的网站和下载日期等信息。 目前讨论消息队列用Kafka。 第二章 基本方案 1、我现在能想到的就是: 远程服务器编写程序, 不停读取文件的内容成为一个字符串,然后再加上来自的网站、下载日期等信息,组合成一个JSON字符串,通过调用kafka的生产者API将字符串写入Kafka。 2、JSON数据格式设计: { “source”: “来源网站名” , “filename” : “html文件名”, “download-date”: “下载日期” , ”content” : “一个html文件的全部字符串 “ } 注:假设.js \.css \.png文件都不需要 3、消息主题的设计: 一个网站对应一个topic,对应到本地的一个文件夹。 4、其他: 如果只是传输文件,不考虑加上网站、下载日期等信息的话,我知道的用Flume可能更方便,但是要加上网站、下载日期的信息(类似主题订阅的功能),flume就不太方便了? 5、可能存在的顾虑:网页数据文件对数据顺序性的要求的程度。 Kafka单分区的情况小支持消息有序性, 多分区下确保消息有序的方案还需深入调研。 如果之后一个主题下对应的网页文件没有特别的传输顺序要求,这一块应该会容易处理很多。
配置Kafka实现远程访问,有几个方案可以选择。其中一种方案是通过修改Kafka的advertised.listeners属性来实现。可以将该属性设置为PLAINTEXT://IP:9092,其中IP是Kafka所在服务器的公网IP地址。这样就可以通过使用Kafka的公网IP地址和端口号进行远程访问了。 另外,如果您是在云服务上搭建Kafka环境,可以采用单机部署的配置方式。在这种配置下,您可以将Kafka安装在一台服务器上。在进行Kafka安装配置之前,需要先下载Kafka并解压。然后,启动Kafka之前需要先启动Zookeeper,因为Kafka自带了Zookeeper。最后,通过指定Kafka的路径来启动Kafka。这样就完成了Kafka远程访问配置。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [kafka 教程(三)-远程访问](https://blog.csdn.net/weixin_30621919/article/details/101941526)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [云服务器配置kafka与springboot远程连接](https://blog.csdn.net/sandmswift/article/details/123899721)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

EntyIU

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值