一、Docker快速部署kafka
#zk
docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper
#kafka
docker run -d --name xdclass_kafka \
-p 9092:9092 \
-e KAFKA_BROKER_ID=0 \
-e KAFKA_ZOOKEEPER_CONNECT=192.168.0.116:2181 \
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.116:9092 \
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 wurstmeister/kafka
#进入容器内部,创建topic
docker exec -it 9b5070d79dfa /bin/bash
cd /opt/kafka
bin/kafka-topics.sh --create --zookeeper 192.168.0.116:2181 --replication-factor 1 --partitions 1 --topic xdclass-topic
#创建生产者发送消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic xdclass-topic
#运行一个消费者
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic xdclass-topic --from-beginning
二、Flink Source 读取消息队列Kafka连接器整合实战
-
之前自定义SourceFunction,Flink官方也有提供对接外部系统的,比如读取Kafka
-
flink官方