kafka学习--常用命令

• 添加配置文件：

export KAFKA_HOME=/opt/kafka
export PATH=$PATH:$KAFKA_HOME/bin

• 启动kafka（先启动zookeeper）
  现实日志信息：

kafka-server-start.sh /opt/kafka/config/server.properties    //server.properties的路径

后台运行

kafka-server-start.sh -daemon /opt/kafka/config/server.properties

• 关闭命令

kafka-server-stop.sh

• 查看所有topic

kafka-topics.sh --list --zookeeper hadoop1:2181

• 创建topic
  (topic名称为first 分区数为1 副本数为1)

kafka-topics.sh --create --zookeeper hadoop1:2181 --topic first --partitions 1 --replication-factor 1

• 删除topic

kafka-topics.sh --delete --zookeeper hadoop1:2181 --topic first

• 查看topic详情

kafka-topics.sh --zookeeper hadoop1:2181 --describe --topic first

• 创建生产者

kafka-console-producer.sh --topic first --broker-list hadoop1:9092

• 创建消费者
  （当topic中原先就有信息是 加from-beginning可以读到之前的信息 不加的话只能读到创建消费者之后接收的信息）

kafka-console-consumer.sh --bootstrap-server hadoop1:9092 --topic first --from-beginning

创建完生产者之后新开页面创建消费者，在生产者页面输入信息 消费者接收

• 创建消费者组

kafka-console-consumer.sh --bootstrap-server hadoop1:9092 --topic first --consumer.config /opt/kafka/config/consumer.properties

消费者组中的消费者数量最优不要大于topic的分区数 因为没有意义

• 查看topic消息队列数量

kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list hadoop1:9092 --topic first -time -1 --offsets 1

• 压力测试（正常集群百兆以上）

生产者：

bin/kafka-producer-perf-test.sh --topic test --record-size 100 --num-records 100000 --throughput -1 --producer-props bootstrap.servers=hadoop101:9092,hadoop102:9092,hadoop103:9092

这里每秒最大吞吐量为13M

消费者：

这里zookeeper可以连三台 这里只连接了一台

kafka-consumer-perf-test.sh --zookeeper hadoop101:2181 --topic test --fetch-size 10000 --messages 10000000 --threads 1