(BigData) Kafka-2.11集配置 入门级教程

前提：kafka基于zookeeper配置(kafka3 除外)

目录

1. 解压安装包

2. 改名

3. 修改环境变量

4. 分发环境变量

5. 配置kafka配置文件

6. 分发kafka文件

7. 启动服务

8. 查看服务

9. 其他Kafka操作    

---

1. 解压安装包

###将压缩包压缩到指定位置

tar -zxvf kafka_2.11-1.01.tgz -C /usr/local/src/

2. 改名

mv kafka_2.11-1.0.1 kafka

3. 修改环境变量

##只对root用户生效

vim /root/.bash_profile


##kafka
export KAFKA_HOME=/usr/local/src/kafka
export PATH=$PATH:$KAFKA_HOME/bin

4. 分发环境变量

scp /root/.bash_profile slave1:/root/.bash_profile
scp /root/.bash_profile slave2:/root/.bash_profile

##激活环境变量
source /root/.bash_profile

5. 配置kafka配置文件

cd /usr/local/src/kafka/config

vim server.properties

##修改broker.id为整数三台服务器不能一样
borker.id=1
delete.topic.enable=true

##修改路径
log.dirs=/usr/local/src/kafka/logs

##修改主机名：端口号
zookeeper:connect=master:2181,slave1:2181,slave2:2181

6. 分发kafka文件

scp -r /usr/local/src/kafka slave1:/usr/local/src/
scp -r /usr/local/src/kafka slave2:/usr/local/src/


##分别修改slave1和slave2的broker.id
slave1   borker.id=2
slave2   borker.id=3

7. 启动服务

##退回到kafka文件夹下

kafka-server-start.sh -daemon config/server.properties

8. 查看服务

jps

9. 其他Kafka操作    

         1）查看当前服务器中的所有topic

 bin/kafka-topics.sh --zookeeper master:2181 --list

        2）创建topic

##创建副本为三，分区数为一的分区

bin/kafka-topics.sh --zookeeper master:2181 --create --replication-factor 3 --partitions 1 --topic first


选项说明：
--topic 定义topic名
--replication-factor  定义副本数
--partitions  定义分区数

        3）删除topic

bin/kafka-topics.sh --zookeeper master:2181 --delete --topic first

需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。

        4）发送消息

bin/kafka-console-producer.sh --broker-list master:9092 --topic first

        5）消费消息

##换slave1机器上启动
bin/kafka-console-consumer.sh --zookeeper master:2181 --from-beginning --topic first

        6）查看某个Topic的详情

bin/kafka-topics.sh --zookeeper master:2181 --describe --topic first