linux 部署kafka

介绍：此文章中会介绍怎么部署kafka单机以及集群模式，如何测试生产消息、消费消息

一、环境需要JDK

1、上传jdk文件到服务器

2、创建软链
ln -s jdk1.8.0_121 jdk8

3、配置环境变量
vi /etc/profile
JAVA_HOME=/usr/local/jdk8
PATH=$PATH:$JAVA_HOME/bin
export PATH

4、让环境变量生效
source /etc/profile

二、下载配置kafka

1、下载kafka目录/usr/local 
wget http://mirror.bit.edu.cn/apache/kafka/2.1.0/kafka_2.11-2.1.0.tgz

2、解压重命名
tar zxvf kafka_2.11-2.1.0.tgz
mv kafka_2.11-2.1.0.tgz kafka

3、启动zookeeper
cd kafka
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4、创建topic test
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

5、查看topic
bin/kafka-topics.sh --list --zookeeper localhost:2181 test

6、产生消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

7、消费消息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

三、单机多broker集群配置

1、复制配置文件
cp config/server.properties config/server-1.properties

2、编辑配置文件
broker.id=1
port=9093 
log.dir=/tmp/kafka-logs-1

3、启动服务
bin/kafka-server-start.sh config/server-1.properties &

4、生产消息消费消息跟上面一样

四、多机多broker集群配置

1、分别在多个节点按上述方式安装Kafka，配置启动多个Zookeeper 实例。 
例如：在192.168.0.117,192.168.0.118,192.168.0.119三台机器部署，Zookeeper配置如下：

initLimit=5 
syncLimit=2 
server.1=192.168.0.117:2888:3888 
server.2=192.168.0.118:2888:3888 
server.3=192.168.0.119:2888:3888

2、分别配置多个机器上的Kafka服务 设置不同的broke id，zookeeper.connect设置如下:
zookeeper.connect=192.168.0.117:2181,192.168.0.118:2181,192.168.0.119:2181

3、启动Zookeeper与Kafka服务，按上文方式产生和消费消息，验证集群功能。