单台机器使用docker安装启动kafka

单台机器使用docker安装启动kafka

kafaka运行需要zookeeper，docker拉取镜像：

docker pull wurstmeister/zookeeper
docker pull wurstmeister/kafka

启动：

docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper
docker run  -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_MESSAGE_MAX_BYTES=20000000 -e KAFKA_ZOOKEEPER_CONNECT=192.168.2.123:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.2.123:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -e KAFKA_LOG_RETENTION_HOURS=1 -e KAFKA_LOG_RETENTION_BYTES=10737418240 -e KAFKA_MAX_REQUEST_SIZE=20582912 -e KAFKA_REPLICA_FETCH_MAX_BYTES=20582912 -e KAFKA_FETCH_MESSAGE_MAX_BYTES=20485760 -t wurstmeister/kafka

启动命令中参数意义：

KAFKA_BROKER_ID：在集群中的ID，broker的唯一标识
KAFKA_MESSAGE_MAX_BYTES：服务器可以接收到的最大的消息大小，单位是字节
KAFKA_ZOOKEEPER_CONNECT：zookeeper的地址，格式：hostname:port
KAFKA_LOG_RETENTION_HOURS：日志最大保留时间，单位为h
KAFKA_LOG_RETENTION_BYTES：日志最大保留空间，单位是字节
KAFKA_MAX_REQUEST_SIZE：请求的最大大小，单位是字节
KAFKA_REPLICA_FETCH_MAX_BYTES：replicas每次获取数据的最大字节数
KAFKA_FETCH_MESSAGE_MAX_BYTES：每个分区fetch的消息大小限制

注：

20180604更新：参数host.name/port、advertised.host.name/advertised.port在最新的官方文档标注为deprecated，改为以下配置

listeners=PLAINTEXT://0.0.0.0:9092
advertised.listeners=PLAINTEXT://192.168.2.123:9092

host.name表示kafka绑定到的ip上，listeners中设置为0.0.0.0，保证非本机的请求也能被接受。
advertised.listeners表示kafka注册到zookeeper时，将告诉zookeeper自己的地址为192.168.2.123，当消费者向zookeeper询问kafka的地址时，将会返回192.168.2.123，消费者会直接连向192.168.2.123拉取数据。

测试：

使用docker ps 查看kafka容器ID，然后进入kafka容器的命令行:

 docker exec -it ${CONTAINER ID} /bin/bash

进入kafka默认目录(目录kafka_2.12-2.2.0可能有细微差别)：

cd opt/kafka_2.12-2.2.0/

在kafka默认目录下发送消息：

./bin/kafka-console-producer.sh --broker-list 192.168.2.123:9092 --topic mykafka

在kafka默认目录下接收消息：

bin/kafka-console-consumer.sh --bootstrap-server 192.168.2.123:9092 --topic mykafka --from-beginning

注：

旧的版本中启动命令为(0.9版本之后已废弃)：

bin/kafka-console-consumer.sh --zookeeper 192.168.2.123:2181 --topic mykafka --from-beginning

0.90版本之后启动消费者的方法：

bin/kafka-console-consumer.sh --bootstrap-server 192.168.2.123:9092 --topic mykafka --from-beginning