虚拟机安装过程省略,只需要下载对应的虚拟机和镜像即可;过程比较简单,去B站看看即可;本次安装环境说明,CentOS6.10(64bit),kafka2.11-2.2.0,zookeeper-3.4.6;
安装步骤
1.安装jdk
rpm -ivh jdk-8u301-linux-x64.rpm
2.配置环境变量
vi .bashrc
JAVA_HOME=/usr/java/latest
PATH=$PATH:JAVA_HOME/bin
CLASSPATH=.
export JAVA_HOME
export PATH
export CLASSPATH
soure
3.更改主机名
vim /etc/sysconfig/network 下修改
NETWORK=yes
HOSTNAME=CentOS101
#修改主机映射
vim /etc/hosts
#重启reboot
shutdown -r now
4.关闭防火墙
service iptables status
service iptables stop(对应开启是service iptables start)
# 将iptables 的开机自启服务给关闭掉
chkconfig iptables off
chkconfig --list | grep iptables
5.解压zk到/usr目录下并修改配置
tar -zxf zookeeper-3.4.6.tar.gz -C /usr/
cd /usr/zookeeper-3.4.6/
ls
ls conf/
#进入到conf目录下拷贝sample-zk的配置文件
cp conf/zoo_sample.cfg conf/zoo.cfg
#修改配置,将zk服务的数据目录修改到root/zkdata下
vi conf/zoo.cfg
dataDir=/root/zkdata
mkdir /root/zkdata
./bin/zkServer.sh
#可以看到zk启动停止的各种命令
#启动zk
./bin/zkServer.sh start zoo.cfg
#jps 查看与java 进程相关的进程 有看到QuorumPeerMain 这样一个进程代表zk是启动了
#但是zk启动了不一定能用,我们再用以下命令来看zk的状态
./bin/zkServer.sh status zoo.cfg
#看到 standalone 代表zk是单机启动可用的状态
6.解压kafka到/usr目录下并修改其配置
tar -zxf kafka_2.11-2.2.0.tgz -C /usr/
cd /usr/kafka_2.11-2.2.0/
ls bin/
# 可以看到kafka的各种sh脚本命令
#接下来修改kafka日志的存储位置,socket连接地址,zk的连接地址
vi config/server.properties
#去掉listeners 前面注释的#号,改为
listeners=PLAINTEXT://CentOS101:9092
log.dirs=/tmp/kafka-logs 改为 log.dirs=/usr/kafka-logs
zookeeper.connect=localhost:2181改为zookeeper.connect=CentOS101:2181
#保存退出后启动kafka
./bin/kafka-server-start.sh -daemon config/server.properties #(daemon 表示后台运行)
cd /usr
ls
#可以看到kafka启动的时候创建了我们指定的kafka-logs
#同样我们可以进入到kafka的目录下执行关闭,kafka关闭是一个优雅的过程,可运行jps命令查看
./bin/kafka-server-stop.sh
7.kafka命令
#kafka创建topic分区及副本数,注意副本数不能大于分区数
./bin/kafka-topics.sh --bootstrap-server CentOS101:9092 --create --topic topic01 --partitions 3 --replication-factor 1
#kafak创建消费组(重复执行以下命令多次表示group1中创建了多个消费者,同一个组的消费者是均分消息的;不同组是广播的形式)
./bin/kafka-console-consumer.sh --bootstrap-server CentOS101:9092 --topic topic01 --group group01
#kafka发送消息
./bin/kafka-console-producer.sh --broker-list CentOS101:9092 --topic topic01