2-Kafka集群搭建

Kafka集群搭建

• Kafka集群是必须要有ZooKeeper的

注意：

• 每一个Kafka的节点都需要修改broker.id（每个节点的标识，不能重复）
• log.dir数据存储目录需要配置

Kafka的生产者/消费者/工具

• 安装Kafka集群，可以测试以下
  • 创建一个topic主题（消息都是存放在topic中，类似mysql建表的过程）
  • 基于kafka的内置测试生产者脚本来读取标准输入（键盘输入）的数据，并放入到topic中
  • 基于kafka的内置测试消费者脚本来消费topic中的数据
• 推荐大家开发的使用Kafka Tool
  • 浏览Kafka集群节点、多少个topic、多少个分区
  • 创建topic/删除topic
  • 浏览ZooKeeper中的数据

Kafka的基准测试工具

• Kafka中提供了内置的性能测试工具

  • 生产者：测试生产每秒传输的数据量（多少条数据、多少M的数据）

    5000000 records sent, 11825.446943 records/sec (11.28 MB/sec), 2757.61 ms avg latency
    

  • 消费者：测试消费每条拉取的数据量

• 对比生产者和消费者：消费者的速度更快