Kafka的安装、使用

Kafka: 一个分布式流平台

与传统

• Topic: 一个topic有多个分区存储消息,多个分区避免大文件读取
• Partition: 单分区有序,一个分区有一个日志文

安装

1. 下载
   https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/0.10.2.2/kafka_2.11-0.10.2.2.tgz
   注意 : /kafka_2.11-0.10.2.2.tgz
   • 2.2.11:scala版本号
   • 0.10.2.2.tgz:kafka版本号
2. 安装,配置

• 首先安装 zookeeper-3.4.6

https://blog.csdn.net/huonan_123/article/details/84554237

• 安装kafka

1):解压:
tar -zxvf zookeeper-3.4.6.tar.gz -C ~/app
2):配置:

[hadoop@hadoop000 config]$ pwd
/home/hadoop/app/kafka/config
[hadoop@hadoop000 config]$ vim server.properties 
broker.id=0
#broker.id=1
port=9092
host.name=192.168.1.107

3. 启动

[hadoop@hadoop000 kafka]$ nohup bin/kafka-server-start.sh config/server.properties  &

5. 使用

• 常用命令

目录	功能
bin/kafka-topics.sh --create --zookeeper 192.168.1.101:2181,192.168.1.102:2181,192.168.1.103:2181/kafka --replication-factor 3 --partitions 3 --topic test	创建topic