kafka 安装部署(java远程访问kafka)

1. 默认三台centos7虚拟机，且jdk、hosts都已配备​​

2. 准备zookeeper、kafka安装包

          kafka:  http://archive.apache.org/dist/kafka/0.11.0.2/

          zookeeper：http://archive.apache.org/dist/zookeeper/zookeeper-3.4.8/

    3. 安装zookeeper

tar -zxf zookeeper-3.4.8.tar.gz

cd zookeeper-3.4.8/conf

cp zoo_sample.cfg  zoo.cfg


# 修改zookeeper存放目录
dataDir=/usr/local/src/zookeeper-3.4.8/tmp/zookeeper

# 在文件最底部添加以下配置
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

 

    4. 为zookeeper配置myid文件

在zookeeper存放路径下新建myid文件
在以下目录地址(dataDir)
cd /usr/local/src/zookeeper-3.4.8/tmp/zookeeper

vim myid

注：server.1=master:2888:3888 只填写 1 其他机器以此类推

    5. 将zookeeper拷贝至其他机器

scp -r zookeeper-3.4.8 root@slave1:/usr/local/src

依次修改拷贝到其他机器的myid文件

 kafka安装

      1. 解压kafka安装包

tar -zxf kafka_2.11-0.11.0.2.tgz

cd kafka_2.11-0.11.0.2/config

vim server.properties


修改以下部分，其余配置可以根据自己服务器酌情修改
# The id of the broker. This must be set to a unique integer for each broker.
broker.id=0  # 每台服务器唯一标识

# 192.168.137.60：服务器ip地址，每台服务器配置自己的地址端口号默认9092
listeners=PLAINTEXT://192.168.137.60:9092
host.name=192.168.137.60

# A comma seperated list of directories under which to store log files
log.dirs=/tmp/kafka-logs   # kafka日志目录，根据自己机器修改

# Zookeeper connection string (see zookeeper docs for details).
# root directory for all kafka znodes.
zookeeper.connect=master:2181,slave1:2181,slave2:2181  #配置zookeeper

        2. 拷贝kafka至其他服务器

scp -r kafka_2.11-0.11.0.2 root@slave1:/usr/local/src

修改broker值
cd /usr/local/src/kafka_2.11-0.8.0.2/config

vim server.properties
修改broker值，其他值视机器情况酌情调整

    启动zookeeper和kafka

# zookeeper启动
cd /usr/local/src/zookeeper-3.4.8/

# 启动zk
bin/zkServer.sh start
# 查看状态
bin/zkServer.sh status
# 停止zk
bin/zkServer.sh stop

# 启动kafka
cd /usr/local/src/kafka_2.11-0.11.0.2

启动：bin/kafka-server-start.sh config/server.properties

查看有哪些主题： bin/kafka-topics.sh --list --zookeeper master:2181

创建topic：bin/kafka-topics.sh --create --zookeeper master:2181 --replication-factor 1 --partitions 1 --topic WordCount

查看topic的详细信息：bin/kafka-topics.sh -zookeeper master:2181 -describe -topic WordCount

kafka生产者客户端命令：bin/kafka-console-producer.sh --broker-list master:9092 --topic WordCount

kafka消费者客户端命令：bin/kafka-console-consumer.sh  --bootstrap-server slave1:9092 --from-beginning --topic WordCount

删除topic：./kafka-topics.sh --zookeeper master:2181 --delete --topic WordCount