环境准备
kafka版本:kafka_2.11-1.0.0.tgz
三台主机IP:172.16.10.91、172.16.10.92、172.16.10.93
安裝配置工作
1、kafka安裝
下载后解压kafka,将其解压到/usr/local目录下,删除压缩包即可:
tar xzvf kafka_2.11-1.0.0.tgz #解压
进入到kafka的config目录
自定义目录:
首先新建kafka的日志目录和zookeeper数据目录,因为这两项默认放在tmp目录,而tmp目录中内容会随重启而丢失,所以我们自定义以下目录:
mkdir /usr/local/kafka_2.11-1.0.0/zookeeper #创建zookeeper数据目录
mkdir /usr/local/kafka_2.11-1.0.0/log #创建日志目录
mkdir /usr/local/kafka_2.11-1.0.0/log/zookeeper #创建zookeeper日志目录
mkdir /usr/local/kafka_2.11-1.0.0/log/kafka #创建kafka日志目录
2、zookeeper配置
> 修改 zookeeper.properties
进入config目录下,修改关键配置如下,3台服务器的zookeeper.properties配置文件都一样
#修改为自定义的zookeeper数据目录
dataDir=/usr/local/kafka_2.11-1.0.0/zookeeper
#修改为自定义的zookeeper日志目录
dataLogDir=/usr/local/kafka_2.11-1.0.0/log/zookeeper
# 端口
clientPort=2181
#注释掉
#maxClientCnxns=0
#设置连接参数,添加如下配置
tickTime=2000 #为zk的基本时间单元,毫秒
initLimit=10 #Leader-Follower初始通信时限 tickTime*10
syncLimit=5 #Leader-Follower同步通信时限 tickTime*5
#设置broker Id的服务地址
server.0=172.16.10.91:2888:3888
server.1=172.16.10.92:2888:3888
server.2=172.16.10.93:2888:3888
> zookeeper数据目录添加myid配置
在各台服务器的zookeeper数据目录【/usr/local/kafka_2.11-1.0.0/zookeeper】添加myid文件,写入服务broker.id属性值
如这里的目录是/usr/local/kafka_2.11-1.0.0/zookeeper
注:3臺服務器都要添加myid文件,但值的內容不一樣,具體關係請見下圖:
例如:第一台broker.id为0的服务到该目录【/usr/local/kafka_2.11-1.0.0/zookeeper】下执行以下命令,會生成myid文件內容
[root@mmc config]# echo 0 > myid
3、kafka配置
进入config目录下,修改server.properties文件
注:3臺服務器都要配置,其中【broker.id、advertised.listeners】不一樣,其它配置都一樣
############################# Server Basics #############################
# broker 的全局唯一编号,不能重复
broker.id=1
############################# Socket Server Settings #############################
# 配置监听,修改为本机ip
advertised.listeners=PLAINTEXT://172.16.10.91:9092
# 处理网络请求的线程数量,默认
num.network.threads=3
# 用来处理磁盘IO的线程数量,默认
num.io.threads=8
# 发送套接字的缓冲区大小,默认
socket.send.buffer.bytes=102400
# 接收套接字的缓冲区大小,默认
socket.receive.buffer.bytes=102400
# 请求套接字的缓冲区大小,默认
socket.request.max.bytes=104857600
############################# Zookeeper #############################
# 配置三台服务zookeeper连接地址
zookeeper.connect=172.16.10.91:2181,172.16.10.92:2181,172.16.10.93:2181
############################# Log Basics #############################
# kafka 运行日志存放路径
log.dirs=/usr/local/kafka_2.11-1.0.0/log/kafka
# topic 在当前broker上的分片个数,与broker保持一致
num.partitions=3
# 用来恢复和清理data下数据的线程数量,默认
num.recovery.threads.per.data.dir=1
############################# Log Retention Policy #############################
# segment文件保留的最长时间,超时将被删除,默认
log.retention.hours=168
# 滚动生成新的segment文件的最大时间,默认
log.roll.hours=168
4、kafka启动
kafka启动时先启动zookeeper,再启动kafka;关闭时相反,先关闭kafka,再关闭zookeeper
- 進入kafka根目錄
[root@localhost kafka_2.11-1.0.0]# cd /usr/local/kafka_2.11-1.0.0/
- 啟動zookeeper
輸入命令:
[root@localhostkafka_2.11-1.0.0]# bin/zookeeper-server-start.sh config/zookeeper.properties &
#後臺啟動命令:
[root@localhostkafka_2.11-1.0.0]# nohup bin/zookeeper-server-start.sh config/zookeeper.properties >log/zookeeper/zookeeper.log 2>1 &
查看log/zookeeper/zookeeper.log 文件,第1、2臺服務器啟動的時候,會報錯Connection refused,因為另外1、2臺服務器還沒啟動,先不用管它
查看log/zookeeper/zookeeper.log 文件,等3臺服務都啟動完後,就不在報錯了
- 啟動kafka
輸入命令:
[root@localhostkafka_2.11-1.0.0]# bin/kafka-server-start.sh config/server.properties &
#後臺啟動命令:
[root@localhostkafka_2.11-1.0.0]# nohup bin/kafka-server-start.sh config/server.properties >log/kafka/kafka.log 2>1 &
查看log/kafka/kafka.log 文件,啟動過程中沒有報錯,且有以下信息輸出,說明啟動成功
kafaka2.5,控制台测试
生产者: bin/kafka-console-producer.sh --broker-list localhost:9092 --topic testTopic
消费者: bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testTopic --from-beginning
转载于:https://www.cnblogs.com/zeenzhou/p/10951170.html