Kafka(二)docker版安装入门

kafka是一个可靠的消息中间件(生产者和消费者模式)。kafka可以用于构建实时的数据管道、有强大水平扩展能力、处理效率很高

参考:

http://kafka.apache.org
基础概念http://kafka.apache.org/intro

安装

docker中使用kafka:https://www.jianshu.com/p/263164fdcac7

  • 下载kafka的镜像:https://hub.docker.com/r/wurstmeister/kafka/
  • 在运行kafka之前,需要确保zookeeper处于运行状态
  • 启动kafka镜像
    • KAFKA_BROKER_ID=0 为broker设置唯一的id
    • -v /Users/rui/code/docker/kafka/data/kafka:/kafka将kafka的存储外挂
docker run -d --name kafka --publish 9092:9092 \
--link zookeeper \
--env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 \
--env KAFKA_ADVERTISED_HOST_NAME=192.168.3.26 \
--env KAFKA_ADVERTISED_PORT=9092 \
-e KAFKA_BROKER_ID=0 \
-v /Users/rui/code/docker/kafka/data/kafka:/kafka \
--volume /etc/localtime:/etc/localtime \
wurstmeister/kafka
  • 进入到kafka容器中:docker exec -it 5027fea376552e1f5 bash,进入到/opt/kafka_2.11-2.0.0/bin
  • 在zk上创建一个主题(指定分区数,副本数),所有的信息都是存放在zk上: ./kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 1 --partitions 1 --topic drTest
  • 查看在关联的zk上有多少主题:kafka-topics.sh --list --zookeeper zookeeper:2181
  • 创建一个生产者,明确生产者发送消息的broker,和消息的主题:kafka-console-producer.sh --broker-list localhost:9092 --topic drTest
  • 创建一个消费者。这里有点疑惑,有的文档说bootstrap-server后面加zk的地址,但是经过我的测试,需要添加broker的地址 bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic drTest --from-beginning

没有更多推荐了,返回首页

私密
私密原因:
请选择设置私密原因
  • 广告
  • 抄袭
  • 版权
  • 政治
  • 色情
  • 无意义
  • 其他
其他原因:
120
出错啦
系统繁忙,请稍后再试