- 主机名设置(设置后须重启)
- hostnamectl set-hostname kafka_01
- hostnamectl set-hostname kafka_02
- 防火墙
- 关闭防火墙
- [root@nginx-filebeat-01 ~]# systemctl stop firewalld
- 设置开机禁止启动:
- [root@nginx-filebeat-01 ~]# systemctl disable firewalld
- 关闭防火墙
- 关闭selinux
- selinux配置文件修改之后生效需要重启(reboot)主机生效
- 编辑 vim /etc/selinux/config,修改:SELINUX=disabled
- 重启之后验证是否生效:[root@nginx-filebeat-01 ~]# getenforce
- selinux配置文件修改之后生效需要重启(reboot)主机生效
- 安装
- 安装到主目录下面的opt
- 下载yum install lsof vim wget
- 下载java:yum install java wget -y
- 安装kafka: wget https://www.cnblogs.com/zhaoshizi/p/12154518.htmlhttps://mirrors.bfsu.edu.cn/apache/kafka/2.8.0/kafka_2.12-2.8.0.tgz
- 解包:tar xf +文件名
- 安装zookeeper:wget https://mirrors.bfsu.edu.cn/apache/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3.tar.gz
- 配置
- 修改/etc/hosts文件,添加如下内容:(自己的机器ip+自己的机器名)
- 192.168.149.132 kafka_01
- 192.168.149.133 kafka_02
- 修改/opt/kafka_2.12-2.8.0/config /server.properties:
- broker.id=0
第一个id服务器为0 第二个id服务器就为1
- listeners=PLAINTEXT://kafka_01:9092
填入自己的主机号
- zookeeper.connect=192.168.149.132:2181,192.168.149.133:2181
填入两个自己的ip+:2181
- broker.id=0
- 修改添加config/zookeeper.properties:(自己的机器ip+:3888:4888)
3888和4888是端口,:3888:4888代表zookeeper之间通信要不用3888端口,要不用4888端口- server.1=192.168.149.132:3888:4888
- server.2=192.168.149.133:3888:4888
- 修改添加/opt/kafka_2.12-2.8.0/bin/ kafka-server-start.sh
- export JMX_PORT="9999"
- 修改/etc/hosts文件,添加如下内容:(自己的机器ip+自己的机器名)
- 启动
- 启动zookeeper
- bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
- 启动kafka
- bin/kafka-server-start.sh -daemon config/server.properties
- 启动zookeeper
- 防止kafka掉
- 配置zookerper
- 进入/opt目录
- 解压apache-zookeeper-3.6.3-bin.tar.gz
- 进入/opt/apache-zookeeper-3.6.3-bin/conf
- cp zoo_sample.cfg zoo.cfg
- 进入修改zoo.cfg, 添加如下两行:
两个虚拟机的IP- server.1=192.168.85.138:3888:4888
- server.2=192.168.85.146:3888:4888
- 创建/tmp/zookeeper目录 ,在目录中添加myid文件,文件内容就是本机指定的zookeeper id内容(直接添加虚拟机号)
myid添加本机id号,server.1就代表本id为1- 如:在192.168.149.132机器上
- echo 1 > /tmp/zookeeper/myid
- 再次启动:
- bin/zkServer.sh status
- 配置zookerper
- 关闭
- 先关闭kafka
- 再关闭zookeeper
- 启动
- 先启动zookeeeper
- 再启动kafka
- kafka加入环境变量
- 进入:vim ~/.bash_profile添加
ZK_PATH=/opt/apache-zookeeper-3.6.3-bin/bin
export PATH=$PATH:$ZK_PATH
KF_PATH=/opt/kafka_2.12-2.8.0/bin
export PATH=$PATH:$KF_PATH
- 再次启动(打开新窗口)
- 启动文件:source ~/.bash_profile
- 查看zkServer.sh
- 再次启动zookeeper和kafka
- 查看follower和leader:zkServer.sh status
- zookeeper:bin/zkServer.sh start
- kafka:bin/kafka-server-start.sh -daemon config/server.properties
- 进入:vim ~/.bash_profile添加
- 进入zkCli.sh客户端
- 查看几台kafka在线
- 查看消费者
- 查看几台kafka在线
- 启动
编辑bin/kafka-server-start.sh脚本,添加如下行:
#用户监控kafka的一些指标
export JMX_PORT="9999"
启动kafka
bin/kafka-server-start.sh -daemon config/server.properties JMX_PORT="9999"
启动kafka
bin/kafka-server-start.sh -daemon config/server.properties - 测试
创建topic
bin/kafka-topics.sh --create --zookeeper 192.168.149.132:2181 --replication-factor 1 --partitions 1 --topic sc
查看topic
bin/kafka-topics.sh --list --zookeeper 192.168.149.132:2181
创建生产者
[root@localhost kafka_2.12-2.8.0]# bin/kafka-console-producer.sh --broker-list 192.168.149.132:9092 --topic sc
>hello
>sanchuang tongle
>nihao
>world !!!!!!1
>创建消费者
[root@localhost kafka_2.12-2.8.0]# bin/kafka-console-consumer.sh --bootstrap-server192.168.196.129:9092 --topic sc --from-beginning
项目搭建之kafka
最新推荐文章于 2024-07-14 16:18:36 发布