kafka集群部署手册

一、  准备

1、  硬件

三台装好RHEL6.7_x64的x86服务器，机器名如下

kafka01

kafka02

kafka03

2、  软件

jdk-7u80-linux-x64.rpm

kafka_2.10-0.10.0.0.tgz

3、  zookeeper

kafka需用到zookeeper，开始安装前先安装好zookeeper，参照《01zookeeper集群部署手册.docx》

二、  安装JDK（root用户执行）

参照zookeeper集群部署手册

三、  创建用户（root用户执行）

1、  执行以下命令创建用户

useradd -d /home/kfadmin -m kfadmin

四、  创建目录（root用户执行）

执行以下命令

mkdir -p /data01/software/kafka_2.10-0.10.0.0

mkdir -p /data01/data/kafka_2.10-0.10.0.0/data

mkdir -p /data01/data/kafka_2.10-0.10.0.0/logs

五、  拷贝安装介质并设置权限（root用户执行）

1、  将kafka的安装介质解压后用ftp拷贝到/data01/software/kafka_2.10-0.10.0.0

2、  修改hosts映射：vi /etc/hosts。将“127.0.0.1     hostname”

改成“业务ip  hostname”，每台机器都要修改

3、  修改配置文件/data01/software/kafka_2.10-0.10.0.0/config/server.properties，将红色字体改成实际值。

broker.id=1

port=9092

host.name=kafka01

log.dirs=/data01/data/kafka_2.10-0.10.0.0/data

zookeeper.connect=zookeeper01:2181,zookeeper02:2181,zookeeper03:2181

kafka01服务器上broker.id配置为1，host.name配置为kafka01。

kafka02服务器上broker.id配置为2，host.name配置为kafka02。

kafka03服务器上broker.id配置为3，host.name配置为kafka03。

其它配置三台服务器上配置一样的值。

4、  修改/data01/software/kafka_2.10-0.10.0.0/bin/kafka-run-class.sh，

在

base_dir=$(dirname $0)/..

下面增加

LOG_DIR=/data01/data/kafka_2.10-0.10.0.0/logs

5、  执行以下命令

chown -R kfadmin:kfadmin /data01/software/kafka_2.10-0.10.0.0

chown -R kfadmin:kfadmin /data01/data/kafka_2.10-0.10.0.0

chmod -R u=rwx /data01/software/kafka_2.10-0.10.0.0

chmod -R u=rwx /data01/data/kafka_2.10-0.10.0.0

 

六、  运行kafka（kfadmin用户执行）

1、  执行以下命令

su - kfadmin

cd /data01/software/kafka_2.10-0.10.0.0

bin/kafka-server-start.sh config/server.properties &

 

七、  创建topic（kfadmin用户执行）

1、  执行以下命令，将红色字体改成实际值。

/data01/software/kafka_2.10-0.10.0.0/bin/kafka-topics.sh --create --zookeeper zookeeper01:2181,zookeeper02:2181,zookeeper03:2181 --replication-factor 3 --partitions 3 --topic topicxxx

 

八、  停止kafka（kfadmin用户执行）

1、  执行以下命令查出进程号

ps -ef | grep kafka

2、  执行以下命令停止kafka

kill -s TERM kafka进程号

如无法停止则执行以下命令

kill -9 kafka进程号

 

转载于:https://www.cnblogs.com/jefferycao/p/6403787.html