消息的两个类型:Topic主题,Queue队列。Kafka属于Topic主题类型,在大数据的系统中,Kafka的使用依赖与zookeeper的,所有要先保证系统中先启动zk。现在以Kafka的单机单broker的方式来做简单的介绍。
- 准备安装文件,解压后可以不配置环境变量
tar -zxvf kafka_2.9.2-0.8.1.1.tgz -C ~/training/
核心配置文件 config/server.properties
broker.id= 0 //多机形式,要保证broker的唯一性
port = 9092 //多机安装中,端口号不同
log.dirs=/root/training/kafka_2.9.2-0.8.1.1/logs //日志
zookeeper.connect=bigdata111:2181 //配置zk
启动命令
bin/kafka-server-start.sh config/server.properties & - 测试demo(开三个窗口,启动好后,在其他一个窗口中输入内容,验证其他两个窗口中显示出来)
- 创建Topic
bin/kafka-topics.sh --create --zookeeper bigdata111:2181 -replication-factor 1 --partitions 3 --topic mydemo1 - 发布消息
bin/kafka-console-producer.sh --broker--list bigdata111:9092 --topic mydemo1 - 接受消息
bin/kafka-console-consumer.sh --zookeeper bigdata111:2181 --topic mydemo1
- 创建Topic