kafka分别在单节点单broker和单节点多（3）broker中的部署和生产、消费信息测试

最新推荐文章于 2024-07-05 18:12:18 发布

布衣清水

最新推荐文章于 2024-07-05 18:12:18 发布

阅读量2k

点赞数

分类专栏：大数据 kafka 文章标签：大数据 kafka

本文链接：https://blog.csdn.net/yulutian/article/details/80978765

版权

本文档记录了在单节点和单节点多（3）broker环境下Kafka的部署、配置以及生产消费信息的测试过程。内容包括安装Kafka、配置server.properties、启动Zookeeper和Kafka、创建与查看topic、使用控制台生产者和消费者进行消息传递，并探讨了消费模式和数据持久性。

摘要由CSDN通过智能技术生成

LZ是在自己的笔记本电脑的虚拟机上部署的，只有一台机器，所以尝试了这两种方式下生产和消费信息的使用
学一门新技术肯定要看官方文档，上面有比较详细的说明，但是有的地方有点错误，还是在这里记录下，以供参考！官方文档链接
1、首先安装kafka
版本选用0.9.0.0，选择与scala2.11相配的版本
1)拷贝地址，然后wget下载，再解压，配置系统环境变量【vi ~/.bash_profile, source ~/. bash_profile】
2)$KAFKA_HOME/config中配置文件server.properties中的参数说明：
①broker.id : 每个broker编号，篮子编号不能冲突，只有一台机器，默认从0开始
②监听端口默认在9092上面
③hostname:当前机器，可以改为hadoop
④log.dirs:用来存储kafka日志的目录
⑤num.partition：分区的数量，默认为1
⑥zookeeper.connection: zookeeper地址，改为hadoop:2181

2、单节点单broker
1）先启动zookeeper
2）启动kafka

kafka-server-start.sh $KAFKA_HOME/config/server.properties

注：如果只输入kafka-server-start.sh
会出现提示信息：USAGE: /home/hadoop/app/kafka_2.11-0.9.0.0/bin/kafka-server-start.sh [-daemon] server.properties [–override property=value]*
-daemon：表示是否以后台的形式运行
3)启动后用jps可以看到kafka，用jps -m可以看到kafka对应哪个server.properties文件
3）创建topic：名称test_hi