kafka生产者与消费者案例

所有节点启动kafka

1、创建主题

创建一个名为itcasttopic的主题

bug1：
出现此错误的原因是定义的副本数，也就是replication-factor要小于你的服务器的数量，若你只有一台服务kafka，那么这里的2就超出了范围。
Error while executing topic command : Replication factor: 2 larger than available brokers: 1.

kafka-topics.sh --create \
--topic itcasttopic \
--partitions 3 \
--replication-factor 2 \
--zookeeper hadoop01:2181,hadoop02:2181,hadoop03:2181

正常情况下结果

若要删除改create为delete

kafka-topics.sh --delete \
--topic itcasttopic \
--zookeeper hadoop01:2181,hadoop02:2181,hadoop03:2181

2、创建生产者

kafka-console-producer.sh \
--broker-list hadoop01:9092,hadoop02:9092,hadoop03:9092 \
--topic itcasttopic

3、创建消费者

kafka-console-consumer.sh \
--from-beginning --topic itcasttopic \
--bootstrap-server hadoop01:9092,hadoop02:9092,hadoop03:9092

bug2：

WARN [Producer clientId=console-producer] Connection to node -3 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)

此bug出现的原因是配置文件对应的主机没有更改对应上ip。

4、数据的生产与消费

查看所有主题