Kafka consumer 与 producer测试

⚠申明： 未经许可，禁止以任何形式转载，若要引用，请标注链接地址。 全文共计6497字，阅读大概需要3分钟
🌈更多学习内容， 欢迎👏关注👀【文末】我的个人微信公众号：不懂开发的程序猿
⏰个人网站：https://jerry-jy.co/

❗❗❗知识付费，🈲止白嫖，有需要请后台私信或【文末】个人微信公众号联系我

一、任务描述

本实验任务主要完成基于ubuntu环境掌握Kafka consumer 与 producer测试的工作。通过完成本实验任务，要求学生熟练掌握Kafka consumer 与 producer的使用，为后续实验的开展奠定Kafka平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。

二、任务目标

1、掌握Kafka consumer 与 producer测试

三、任务环境

Ubuntu(三台节点:mater：192.168.0.3,slave1：192.168.0.2,slave2：192.168.0.4)、Zookeeper3.4.5

四、任务分析

Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例(server)成为broker。无论是kafka集群，还是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息。

1. 学会使用Kafka consumer 与 producer测试。

五、 任务实施

步骤1、完全分布环境搭建

三台节点先做ssh免密码配置，具体可参考Hadoop完全分布式搭建。
  分别在三台节点下进入/simple/zookeeper/conf使用命令【vi zoo.cfg】进行zoo.cfg配置文件修改，设置集群配置参数，添加集群配置。如图1所示。

图1 配置zoo.cfg文件
  分别在三台节点的zookeeper/目录下新建zk_data文件夹,并在此zk_data/目录下新建myid文件。如图2所示。

图2 创建myid文件
  在主节点zookeeper文件夹zk_data/下,对myid文件进行编译【echo 1 >> myid】。如图3所示。