Linux - Kafka集群搭建

以下操作环境均在Centos7服务器上面，一共三台服务器，11、12、13

准备&安装

官网下载Zookeeper，看准自己需要的版本，我自己这里就下载一个旧的版本使用了（2.11-2.0.0）

老样子，先将下载的kafka进行上传至11服务器，使用scp命令传至其他的机器上面

scp /upload/kafka_2.11-2.0.0.tgz node2:$PWD   # 传2号机,注意大写
scp /upload/kafka_2.11-2.0.0.tgz node3:$PWD   # 传3号机，注意大写
mkdir /usr/local/kafka    # 创建kafka文件夹
mv kafka_2.11-2.0.0.tgz /usr/local/kafka/   # 移动安装包到kafka文件夹
cd /usr/local/kafka/   # 进入到kafka文件夹中
tar -zxvf kafka_2.11-2.0.0.tgz   # 解压文件夹
rm -rf kafka_2.11-2.0.0.tgz   # 删除安装包
mkdir log   # 创建日志文件夹
cd kafka_2.11-2.0.0/config/   # 进入到配置文件夹
vim server.properties    # 修改配置文件

配置

下面为修改配置文件内的内容，可以使用vim的搜索功能搜索配置项修改参数，如果搜不到直接写配置项=参数

broker.id=1   # 此处的id必须每台机器上的配置的都不一样，我11号机配置1，12配置2，13配置3
log.dirs=/usr/local/kafka/log    # 配置日志地址，我自己的上面有创建，按照自己的
listeners=PLAINTEXT://192.168.1.11:9092   # kafka的监听地址与端口，同样每台机器都不一样，这个我11号机的IP，12的只用改成12号的IP，13同样，端口用9092
zookeeper.connect=192.168.1.11:2181,192.168.1.12:2181,192.168.1.13:2181   # zk中存储了broker的元数据信息，此处配置zookeeper集群所有的IP，默认存储为根目录

配置环境变量 vim /etc/profile

export KAFKA=/usr/local/kafka/kafka_2.11-2.0.0
export PATH=$KAFKA/bin:$PATH

source /etc//profile 刷新环境变量（配不配都可以）

/usr/local/kafka/kafka_2.11-2.0.0/bin/kafka-server-start.sh -daemon /usr/local/kafka/kafka_2.11-2.0.0/config/server.properties &   # 启动kafka
ps aux | grep kafka    # 查看kafka是否启动
cd /usr/local/kafka/kafka_2.11-2.0.0/  # 进入kafka文件夹

基本命令

下面时kafka的一些基本操作命令

bin/kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 1 -partitions 2 --topic TestTopic # 创建一个有两个分区一个副本的topic
bin/kafka-topics.sh --describe --zookeeper node1:2181 --topic TestTopic   # 查看自己刚刚创建的topic
bin/kafka-topics.sh --list --zookeeper node1:2181     # 查看当前有哪些topic
bin/kafka-topics.sh --zookeeper node1:2181 --alter --partitions 4 --topic TestTopic  # 添加分区
bin/kafka-topics.sh --zookeeper node1:2181 --delete --topic TestTopic    # 删除topic
bin/kafka-console-consumer.sh --bootstrap-server node1:9092 --topic TestTopic --from-beginning   # 打开consumer消费消息  --partition 指定分区消费
bin/kafka-console-producer.sh  --broker-list node1:9092 --topic TestTopic     # 打开producer生产消息