kafka linux下安装及学习

错误一

Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000e0000000, 536870912, 0) failed; error='Cannot allocate memory' (errno=12)

主要是kafka的kafka-server-start.sh文件配置有问题.也可以说跟安装kafka的服务器有关系。简单点说,就是你的服务器配置有点低。

然后进入kafka_2.12-0.11.0.0的bin目录，找到kafka-server-start.sh文件，vi kafka-server-start.sh

找到这一行export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

改为 export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000e0000000, 536870912, 0) failed; error='Cannot allocate memory' (errno=12)

kafka 启动命令

• 首先启动zookeeper

  bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
  

• 启动KAFKA

  bin/kafka-server-start.sh -daemon config/server.properties 
  

KAFKA topic

• 创建topic

  bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic demo
  

• 查询topic列表

  bin/kafka-topics.sh --list --zookeeper localhost:2181
  

• 查看topic信息

  bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic demo
  

• 删除topic

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic demo

KAFKA 生成/消费

• 启动生产者

  bin/kafka-console-producer.sh --broker-list localhost:9092 --topic demo
  

• 启动消费者

  bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic demo --from-beginning
  

  运行后,返回 zookeeper is not a recognized option。

  说明–zookeeper是一个过时的方法,最新的版本命令如下:

  bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic demo --from-beginning