2、Kafka环境搭建（Linux伪集群）

准备
centos7
xshell
kafka_2.11-2.1.0.tgz
zookeeper-3.4.6.tar.gz
jdk-8u65-linux-x64.tar.gz

jdk安装
1、卸载centos7原本自带的openjdk
rpm -qa | grep java;
rpm -e --nodeps java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64;
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.161-2.b14.el7.x86_64;
–后面跟系统自带的jdk名

2、上传jdk-8u65-linux-x64.tar.gz
通过xftp上传jdk-8u65-linux-x64.tar.gz到目录/usr/local
解压：tar -xzvf jdk-8u65-linux-x64.tar.gz，生成目录jdk1.8.0_65
删除tar：rm -rf jdk-8u65-linux-x64.tar.gz

3、配置环境变量
vim /etc/profile，末尾添加如下：

export JAVA_HOME=/usr/local/jdk1.8.0_65
export CLASSPATH=.:$JAVA_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile
让profile文件立即生效

测试是否安装成功: java、javac、java -version
echo $PATH 输出环境变量path值

或者
编辑用户目录下/home/*/的.bash_profile；
这种方法更为安全，它可以把使用这些环境变量的权限控制到用户级别，如果你需要给某个用户权限使用这些环境变量，你只需要修改其个人用户主目录下的.bash_profile文件就可以了。

zookeeper安装
1、上传zookeeper-3.4.6.tar.gz
通过xftp上传zookeeper-3.4.6.tar.gz到/usr/local/zookeeper
解压：tar -xzvf zookeeper-3.4.6.tar.gz，生成目录zookeeper-3.4.6
重命名：mv zookeeper-3.4.6 zookeeper-3.4.6-2181
删除tar：rm -rf zookeeper-3.4.6.tar.gz

2、zookeeper配置启动
进入目录zookeeper-3.4.6-2181\conf，修改zoo.cfg，如果没有则复制一份 zoo_sample.cfg后重命名zoo.cfg；

创建目录data和logs
mkdir /usr/local/zookeeper/zookeeper-3.4.6-2181/data
mkdir /usr/local/zookeeper/zookeeper-3.4.6-2181/logs

vim zoo.cfg
配置如下(主从模式)

dataDir=/usr/local/zookeeper/zookeeper-3.4.6-2181/data
dataLogDir=/usr/local/zookeeper/zookeeper-3.4.6-2181/logs
clientPort=2181
server.1=192.168.78.169:2887:3887
server.2=192.168.78.169:2888:3888
server.3=192.168.78.169:2889:3889

上述dataDir目录下创建myid文件，没有后缀名，写入1
touch myid
vim myid

复制两份zookeeper-3.4.6-2181，重命名zookeeper-3.4.6-2182和 zookeeper-3.4.6-2183，然后把zoo.cfg中的2181修改为2182和2183，myid文件修改为2和3
cp -r zookeeper-3.4.6-2181/ zookeeper-3.4.6-2182/
cp -r zookeeper-3.4.6-2181/ zookeeper-3.4.6-2183/

3、防火墙放开端口2181、2182、2183
firewall-cmd --zone=public --add-port=2181/tcp --permanent
firewall-cmd --zone=public --add-port=2182/tcp --permanent
firewall-cmd --zone=public --add-port=2183/tcp --permanent
firewall-cmd --reload

5、启动
进入目录zookeeper-3.4.6-2181\bin，执行./zkServer.sh start，默认加载conf/zoo.cfg
进入目录zookeeper-3.4.6-2182\bin，执行./zkServer.sh start，默认加载conf/zoo.cfg
进入目录zookeeper-3.4.6-2183\bin，执行./zkServer.sh start，默认加载conf/zoo.cfg

启动.sh脚本
cd /root
mkdir zookeeper
touch zookeeper-start-2181.sh
vim zookeeper-start-2181.sh
内容：
cd /usr/local/zookeeper/zookeeper-3.4.6-2181/bin
./zkServer.sh start

复制2182和2183
cp zookeeper-start-2181.sh zookeeper-start-2182.sh
cp zookeeper-start-2181.sh zookeeper-start-2183.sh
文件内容2181修改为2182和2183

增加执行权限
chmod 744 zookeeper-start-218*

运行
./zookeeper-start-2181.sh
./zookeeper-start-2182.sh
./zookeeper-start-2183.sh

关闭.sh脚本
zookeeper-stop-2181.sh
内容：
cd /usr/local/zookeeper/zookeeper-3.4.6-2181/bin
./zkServer.sh stop
2182和2183同理创建。

或者
ps -ef | grep zookeeper
kill -9 pid

kafka安装
1、通过xftp上传kafka_2.11-2.1.0.tgz到/usr/local
解压：tar -xzvf kafka_2.11-2.1.0.tgz
重命名：mv kafka_2.11-2.1.0/ kafka

2、配置文件
cd /etc/
mkdir kafka
cd kafka/
cp /usr/local/kafka/config/server.properties server-9092.properties
vim server-9092.properties
配置项：

broker.id=0
listeners=PLAINTEXT://192.168.78.169:9092
log.dirs=/var/kafka/kafka-log-9092		
zookeeper.connect=192.168.78.169:2181,192.168.78.169:2182,192.168.7	8.169:2183

复制server-9093.properties、server-9094.properties
cp server-9092.properties server-9093.properties
cp server-9092.properties server-9094.properties
修改9092为9093和9094，broker.id修改为1和2

数据文件（日志目录）
cd /var
mkdir kafka

3、防火墙放开端口9092、9093、9094
firewall-cmd --zone=public --add-port=9092/tcp --permanent
firewall-cmd --zone=public --add-port=9093/tcp --permanent
firewall-cmd --zone=public --add-port=9094/tcp --permanent
firewall-cmd --reload

4、启动
cd /usr/local/kafka/bin
./kafka-server-start.sh /etc/kafka/server-9092.properties &
./kafka-server-start.sh /etc/kafka/server-9093.properties &
./kafka-server-start.sh /etc/kafka/server-9094.properties &

启动.sh脚本
cd /root
mkdir kafka
touch kafka-start-9092.sh
vim kafka-start-9092.sh
内容：
cd /usr/local/kafka/bin
./kafka-server-start.sh /etc/kafka/server-9092.properties &

复制9093和9094
cp kafka-start-9092.sh kafka-start-9093.sh
cp kafka-start-9092.sh kafka-start-9094.sh
文件内容9092修改为9093和9094

添加sh执行权限
chmod 744 kafka-start*

执行
./kafka-start-9092.sh
./kafka-start-9093.sh
./kafka-start-9094.sh