kafka集群安装部署及常用命令

5.1集群部署的基本流程

下载安装包、解压安装包、修改配置文件、分发安装包、启动集群

5.2集群部署的基础环境准备

安装前的准备工作（zk集群已经部署完毕）

l 关闭防火墙

chkconfig iptables off  && setenforce 0

l 创建用户

groupadd realtime &&useradd realtime&& usermod -a -G realtime realtime

l 创建工作目录并赋权

mkdir /export

mkdir /export/servers

chmod 755 -R /export

l 切换到realtime用户下

su realtime

5.3 Kafka集群部署 

5.3.1 下载安装包

下载地址：http://kafka.apache.org/downloads.html

 

在linux中使用wget命令下载安装包

  wget http://mirrors.shuosc.org/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz

 

安装包 请参见 资料-安装包

 

5.3.2 解压安装包

tar -zxvf kafka_2.11-1.0.0.tgz -C  /export/servers/

cd /export/servers/

mv kafka_2.11-1.0.0 kafka

5.3.3 修改配置文件

cp   /export/servers/kafka/config/server.properties

/export/servers/kafka/config/server.properties.bak

vi  /export/servers/kafka/config/server.properties

输入以下内容：

#broker的全局唯一编号，不能重复 broker.id=0   #用来监听链接的端口，producer或consumer将在此端口建立连接 port=9092   #处理网络请求的线程数量 num.network.threads=3   #用来处理磁盘IO的线程数量 num.io.threads=8   #发送套接字的缓冲区大小 socket.send.buffer.bytes=102400   #接受套接字的缓冲区大小 socket.receive.buffer.bytes=102400   #请求套接字的缓冲区大小 socket.request.max.bytes=104857600   #kafka运行日志存放的路径 log.dirs=/export/servers/logs/kafka   #topic在当前broker上的分片个数 num.partitions=2   #用来恢复和清理data下数据的线程数量 num.recovery.threads.per.data.dir=1   #segment文件保留的最长时间，超时将被删除 log.retention.hours=168   #滚动生成新的segment文件的最大时间 log.roll.hours=168   #日志文件中每个segment的大小，默认为1G log.segment.bytes=1073741824   #周期性检查文件大小的时间 log.retention.check.interval.ms=300000   #日志清理是否打开 log.cleaner.enable=true   #broker需要使用zookeeper保存meta数据 zookeeper.connect=192.168.52.106:2181,192.168.52.107:2181,192.168.52.108:2181   #zookeeper链接超时时间 zookeeper.connection.timeout.ms=6000   #partion buffer中，消息的条数达到阈值，将触发flush到磁盘 log.flush.interval.messages=10000   #消息buffer的时间，达到阈值，将触发flush到磁盘 log.flush.interval.ms=3000   #删除topic需要server.properties中设置delete.topic.enable=true否则只是标记删除 delete.topic.enable=true   #此处的host.name为本机IP(重要),如果不改,则客户端会抛出:Producer connection to localhost:9092 unsuccessful 错误! host.name=kafka01

 

5.3.4 分发安装包

scp -r /export/servers/kafka  kafka02:/export/servers

然后分别在各机器上创建软连

cd /export/servers/

 

scp -r /export/servers/kafka  kafka03:/export/servers

然后分别在各机器上创建软连

cd /export/servers/

 

5.3.5 再次修改配置文件（重要）

依次修改各服务器上配置文件的的broker.id，分别是0,1,2不得重复。

5.3.6 启动集群

依次在各节点上启动kafka

nohup /export/servers/kafka/bin/kafka-server-start.sh /export/servers/kafka/config/server.properties >/dev/null 2>&1 &

 

输出错误日志到黑洞

command >/dev/null 2>&1 & 

 

5.4、Kafka常用操作命令

l 查看当前服务器中的所有topic

bin/kafka-topics.sh --list --zookeeper  zk01:2181

l 创建topic

bin/kafka-topics.sh --create --zookeeper zk01:2181 --replication-factor 1 --partitions 1 --topic test

l 删除topic

bin/kafka-topics.sh --delete --zookeeper zk01:2181 --topic test

需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。

l 通过shell命令发送消息

bin/kafka-console-producer.sh --broker-list kafka01:9092 --topic test

l 通过shell消费消息

bin/kafka-console-consumer.sh --zookeeper zk01:2181 --from-beginning --topic test

l 查看消费位置

bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper zk01:2181 --group testGroup

l 查看某个Topic的详情

bin/kafka-topics.sh --topic test --describe --zookeeper zk01:2181

l 对分区数进行修改

  bin/kafka-topics.sh --zookeeper  zk01 --alter --partitions 2 --topic test