大数据组件学习之--Kafka 安装搭建

一、前置环境

在搭建kafka之前，请确认自己的hadoop、zookeeper是否搭建完成且可正常运行

二、下载并上传安装包（链接为百度网盘）

kafka安装包

tar -zxvf /opt/software/kafka_2.12-2.4.1.tgz -C /opt/module/

进入解压后的目录更改文件名称

mv kafka_2.12-2.4.1/ kafka

三、添加环境变量

vim /etc/profile

export KAFKA_HOME=/opt/module/kafka

export PATH=$PATH:$KAFKA_HOME/bin

四、配置文件

cd /opt/module/kafka/config

修改server.properties

vim server.properties

log.dirs=/opt/module/kafka/logs
zookeeper.connect=bigdata101:2181,bigdata102:2181,bigdata103:2181

因为怕kafka不会自动创建目录，所以我们为它创建：在/opt/apps/kafka/ 下：

mkdir logs

五、分发文件

scp -r /opt/module/kafka root@bigdata102:/opt/module/

scp -r /opt/module/kafka root@bigdata103:/opt/module/

scp -r /etc/profile root@bigdata102:/etc

scp -r /etc/profile root@bigdata103:/etc

生效环境变量（三台都生效）

source /etc/profile

六、修改 broker.Id

cd /opt/module/kakfa/config

vim server.properties

在bigdata101上更改broker.id

在bigdata102上更改broker.id

在bigdata103上更改broker.id

七、启动kafka以及基础目录

启动命令

kafka-server-start.sh /opt/module/kafka/config/server.properties

加上 & 符表示后台启动

kafka-server-start.sh /opt/module/kafka/config/server.properties &

创建Topic:

kafka-topics.sh --create --zookeeper bigdata101:2181 --topic topicName --partitions 2 --replication-factor 1

查看Topic:

kafka-topic.sh --list --zookeeper bigdata101:2181

开启生产者:

kafka-console-producer.sh --broker-list bigdata101:9092 --topic TopicName

开启消费者:

kafka-console-consumer.sh --bootstrap-server bigdata101:9092 --topic TopicName --from-beginning

from-beginning这是用来同步历史消息的

查看Topic:

kafka-topics.sh --zookeeper bigdata101:2181 --describe-topic TopicName

删除Topic:

kafka-topics.sh --delete --zookeeper bigdata101:2181 --topic TopicName