kafka学习(三)--生产消息和消费消息

上一讲说 --describe 可以省略 --topic ,没有报错,这里看看两者区别

不加 --topic 实际列出了所有 topic 的信息,虽然指定了 forthTopic 但实际没有起到作用,和省略 forthTopic 是一样的。

因此,要查看特定的 topic 信息,建议加上 --topic 

使用 kafka-console-producer 生产消息

 kafka-console-producer 是 kafka 提供的生产消息的控制台。

./kafka-console-producer.sh --broker-list 42.194.203.96:9092 --topic thirdTopic

由之前的 kafka 架构图可以知道,生产者是往 kafka 集群写消息的,kafka 服务的端口是 9092,从而。

这行命令可以理解为:

--broker-list :指定要连接的 kafka broker(推荐换成 --bootstrap-server

--topic:指定要写入的 topic

看看 kafka-console-producer 的用法:

因此以后推荐使用 --bootstrap-server 指定 kafka 服务的地址,虽然目前还可以使用。

等到出现 > 就表示等待写入消息,试着写入  hello,kafka 进去。

使用 kafka-console-consumer 生产消息 

 kafka-console-consumer 是 kafka 提供的消费消息的控制台。

先看看 kafka-console-consumer 的用法。

可以看到  kafka-console-consumer 已经不提供 --zookeeper 和 --broker-list 参数了(0.9版本之前,消费者还将消息的 offset 存入 zookeeper,因此要连接 zookeeper 从 zookeeper 中拿数据,但是 0.9 之后就将消息的上下文信息都写回了 kafka 集群,因此考虑使用 --broker-list,但是消费者控制台已经将 --broker-list 丢弃了,换成了 --bootstrap-server)

因此以后 kafka-console-consumer 消费数据使用 --bootstrap-server 指定 kafka 服务的地址

ps:kafka 服务的端口是 9092,zookeeper 服务的端口是 2181,连接对应的服务注意使用不同的端口。

现在,使用 kafka-console-consumer 从对应的 topic 消费消息。

./kafka-console-consumer.sh --bootstrap-server 42.194.203.96:9092 --topic forthTopic

可以看到,消费者已经从 topic 中拿到了生产者生产的消息,如果想要拿到最开始的消息,还可以在消费者控制台后面加上参数 --from-beginning。

由于 0.9 版本以后消息的 offset 信息是存到 kafka 本地的,消费者需要连接到 kafka 获取信息,因此选择使用 9092 端口,于是,这个命令可以理解为:

--bootstrap-server :消费者消费数据需要连接到哪个个服务获取信息。

--topic :消费者要从哪个 topic 消费

遇到的坑

之前生产者启动成功,但是往 topic 写消息的时候就会报错。

无法解析对应的 host,也就是不知道 VM_0_12_centos 这个主机名或者服务。于是我试着 ping 了一下

ping ip 可以 ping 通,就是无法解析主机名

最后,修改 /etc/hosts 配置了 ip 和 hostname 的映射关系后,就可以用主机名 ping 通了。这里解决问题的关键是:如果要想两台计算机通信,/etc/hosts 里面必须互相含有对方的 ip 和 host 的映射。

关于 /etc/hosts 的作用和配置,后面继续学习:https://blog.csdn.net/qq_26826585/article/details/108292972

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值