环境介绍
Linux: Centos 7.3 ~ 阿里云 ECS 服务器
Zookeeper: cdh-3.4.5
Kafka: 2.12-2.1.0
注意事项
一、用户权限: root 用户
二、部署路径 : /opt
三、环境变量配置文件: /etc/profile
四、Kafka 需要依赖 Zookeeper , Kafka 自身带有 ZK, 但我们这里使用外部搭建的 ZK。
五、阿里云服务器 公网IP、内网IP 都需要用到。因为需要实现公网访问,并且也可以内网使用。
Zookeeper
################################# 下载 安装 配置环境变量 #################################
## 下载 zookeeper
wget https://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.3.6.tar.gz
## 解压
tar -zxvf zookeeper-3.4.5-cdh5.3.6.tar -C /opt
## 重命名
mv /opt/zookeeper-3.4.5-cdh5.3.6 /opt/zookeeper
## 环境变量配置
echo "## Zookeeper 环境变量" >> /etc/profile
echo "export ZK_HOME=/opt/zookeeper" >> /etc/profile
echo "export PATH=$"PATH":$"ZK_HOME"/bin" >> /etc/profile
## 立即生效
source /etc/profile
################################# Zookeeper 配置 ####################################
cd $ZK_HOME
## 创建 dataDir 临时文件存储路径
mkdir data
## 创建 dataLogDir 事务日志存储路径
mkdir logs
## 配置文件路径:/opt/zookeeper/conf/zoo_sample.cfg ; 这是 ZK 默认提供的一份模板,我们 copy 并命名 zoo.cfg
cd $ZK_HOME/conf
cp zoo_sample.cfg zoo.cfg
## 编辑 配置文件
vim zoo.cfg
------------------------- zoo.cfg 增改配置项 --------------------------
dataDir=/opt/zookeeper/data
dataLogDir=/opt/zookeeper/logs
clientPort=2181
# server.x中的x是一个数字,与myid文件中的id 一致
server.1=127.0.0.1:2888:3888
------------------------- zoo.cfg 增改配置项 --------------------------
## 配置 myid , 配置路径: dateDir
echo 1 > $ZK_HOME/data/myid
## 启动 ZK
zkServer.sh start
$ JMX enabled by default
$ Using config: /opt/zookeeper/bin/../conf/zoo.cfg
$ Starting zookeeper ... STARTED
## 基本命令
zkServer.sh start stop status
Kafka
## 下载
wget https://www.apache.org/dyn/closer.cgi?path=/kafka/2.2.0/kafka_2.12-2.2.0.tgz
tar -zxvf kafka_2.12-2.2.0.tgz -C /opt
mv /opt/kafka_2.12-2.2.0.tgz /opt/kafka
mkdir -p /opt/kafka/logs # 日志文件存储路径
## Kafka 配置文件
vim /opt/kafka/server.properties
-------------------------- kafka 配置文件增改项------------------------------
broker.id=0
port=9092
# 阿里云 内网 IP 地址
host.name=172.19.*.*
# 阿里云 公网 IP 地址
advertised.host.name=47.101.*.*
# 配置日志路径
log.dirs=/opt/kafka/logs
# ZK 地址
zookeeper.connect=localhost:2181
# 真实删除 topic
delete.topic.enable=true
-------------------------- kafka 配置文件增改项------------------------------
## kafka 启动方式
# 前台
./kafka-server-start.sh ../config/server.properties
# 后台
./kafka-server-start.sh ../config/server.properties 1>/dev/null 2>&1 &