zookeeper + kafka 集群的安装部署

       消息中间件这种，先不做赘述。安装这个，为了后续写测试代码使用。用 zookeeper 来解决缓存的分布式并发更新的问题（如分布式锁解决）。

       kafka 集群是依赖 zookeeper 集群，所以先搭建 zookeeper 集群，再搭建 kafka 集群。zookeeper + kafka 的集群，都至少是三节点。

文件：https://pan.baidu.com/s/1IER6nLWMwijgWW0J-6v8iA   u9gi

 

zookeeper 集群安装

cd /usr/local
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz
tar -zxvf zookeeper-3.4.5.tar.gz

# 重命名zk
mv zookeeper-3.4.5 zk

# 配置环境变量，原来 .bashrc 才是环境变量的配置处
vi ~/.bashrc
# 内容新增
export ZOOKEEPER_HOME=/usr/local/zk
export PATH=$PATH:$ZOOKEEPER_HOME/bin

# 刷新环境变量配置
source ~/.bashrc

# 修改配置文件
cd /usr/local/zk/conf
cp zoo_sample.cfg zoo.cfg

vi zoo.cfg
# 涉及到的内容如下
dataDir=/usr/local/zk/data
server.0=eshop-cache01:2888:3888
server.1=eshop-cache02:2888:3888
server.2=eshop-cache03:2888:3888

# data
mkdir /usr/local/zk/data
# 编辑集群 id，给一个 0，从 0 开始起
# vi 一个不存在的文件，保存后就存在了
cd /usr/local/zk/data
vi myid

一台搞定之后，使用 scp 命令把环境变量和 zookper 复制到 02 和 03 上，记得复制过去后配置环境变量

# scp --help 中查看支持同时 scp 到多个机器，但是这里尝试一部分成功，一部分失败，所以分开
scp ~/.bashrc root@eshop-cache02:~/
scp ~/.bashrc root@eshop-cache03:~/
scp -r /usr/local/zookeeper-3.4.5 root@eshop-cache02:/usr/local
scp -r /usr/local/zookeeper-3.4.5 root@eshop-cache03:/usr/local

复制之后，需要修改的地方有：myid ，分别修改为 1 和 2，唯一即可。zookper 启动与检查；三台机器都执行操作：

# 由于之前配置了环境变量，这里可以任意目录执行
zkServer.sh start
# 检查 ZooKeeper 状态：一个 leader，两个 follower
zkServer.sh status
# jps：检查三个节点是否都有 QuromPeerMain 进程
jps

如下，一个loader 两个follower

 

scala 安装

#将kafka_2.9.2-0.8.1.tgz使用拷贝到/usr/local目录下。
#对kafka_2.9.2-0.8.1.tgz进行解压缩：
tar -zxvf kafka_2.9.2-0.8.1.tgz。
#对kafka目录进行改名：
mv kafka_2.9.2-0.8.1 kafka
# 配置环境变量，原来 .bashrc 才是环境变量的配置处
vi ~/.bashrc
# 内容新增
export SCALA_HOME=/usr/local/scala
export PATH=$PATH:$SCALA_HOME/bin
# 刷新环境变量配置
source ~/.bashrc

# 查看是否已经配置好
scala -version

记得复制过去后配置环境变量

scp ~/.bashrc root@eshop-cache02:~/
scp ~/.bashrc root@eshop-cache03:~/
scp -r /usr/local/scala-2.11.12 root@eshop-cache02:/usr/local/
scp -r /usr/local/scala-2.11.12 root@eshop-cache03:/usr/local/

kafka 集群

#将kafka_2.9.2-0.8.1.tgz拷贝到/usr/local目录下。
#对kafka_2.9.2-0.8.1.tgz进行解压缩：
tar -zxvf kafka_2.9.2-0.8.1.tgz。
#对kafka目录进行改名：
mv kafka_2.9.2-0.8.1 kafka

配置kafka
vi /usr/local/kafka/config/server.properties

broker.id：依次增长的整数，0、1、2，集群中Broker的唯一id，复制过后每台都要配置。
zookeeper.connect=192.168.1.5:2181,192.168.1.6:2181,192.168.1.7:2181

 

安装slf4j
#将slf4j-1.7.6.zip上传到/usr/local目录下
unzip slf4j-1.7.6.zip
#把slf4j中的slf4j-nop-1.7.6.jar复制到kafka的libs目录下面

#解决kafka Unrecognized VM option 'UseCompressedOops'问题

vi /usr/local/kafka/bin/kafka-run-class.sh 

if [ -z "$KAFKA_JVM_PERFORMANCE_OPTS" ]; then
  KAFKA_JVM_PERFORMANCE_OPTS="-server  -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"
fi

去掉-XX:+UseCompressedOops即可。

#进入目录启动kafka
cd /usr/local/kafka
nohup bin/kafka-server-start.sh config/server.properties &
# 查看是否启动是否报错
cat nohup.out

 

单机启动没有问题后，可以按照之前的方法把环境变量和 kafka 目录 copy 到另外两台机器
scp ~/.bashrc root@eshop-cache02:~/
scp ~/.bashrc root@eshop-cache03:~/

scp -r /usr/local/kafka_2.9.2-0.8.1.1 root@eshop-cache02:/usr/local/
scp -r /usr/local/kafka_2.9.2-0.8.1.1 root@eshop-cache03:/usr/local/
# 记得修改每台机器的 broker.id 。修改之后才能启动成功

 

# 创建测试的 topic，名称为 testMessage
bin/kafka-topics.sh --zookeeper 192.168.1.5:2181,192.168.1.6:2181,192.168.1.7:2181 --topic testMessage --replication-factor 1 --partitions 1 --create
# 创建一个生产者
bin/kafka-console-producer.sh --broker-list 192.168.1.5:9092,192.168.1.6:9092,192.168.1.7:9092 --topic testMessage
# 创建一个消费者
bin/kafka-console-consumer.sh --zookeeper 192.168.1.5:2181,192.168.1.6:2181,192.168.1.7:2181 --topic testMessage --from-beginning

//查看topic
bin/kafka-topics.sh --zookeeper 192.168.1.5:2181 --list 

 

//有可能虚拟机跟本机连不上的问题。改了host后重启
C:\Windows\System32\drivers\etc\hosts