Linux下Kafka单机安装配置方法（实操成功）

说明：

Kafka版本：kafka_2.11-0.8.2.1

1、安装JDK（这里不再描述）

2、下载kafka

cd /usr/local/software

wget http://archive.apache.org/dist/kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgz

注意，kafka_2.11-0.8.2.1.tgz版本是已经编译好的版本，解压就能使用。

tar -xzvf kafka_2.11-0.8.2.1.tgz #解压

mv kafka_2.11-0.8.2.1 /usr/local/kafka #移动到安装目录

2、配置kafka

mkdir /usr/local/kafka/log/kafka #创建kafka日志目录

cd /usr/local/kafka/config #进入配置目录

vi server.properties #编辑修改相应的参数

broker.id=0

port=9092 #端口号

host.name=192.168.5.56 #服务器IP地址，修改为自己的服务器IP

log.dirs=/usr/local/kafka/log/kafka #日志存放路径，上面创建的目录

zookeeper.connect=localhost:2181 #zookeeper地址和端口，单机配置部署，localhost:2181

:wq! #保存退出

3、配置zookeeper

mkdir /usr/local/kafka/zookeeper #创建zookeeper目录

mkdir /usr/local/kafka/log/zookeeper #创建zookeeper日志目录

cd /usr/local/kafka/config #进入配置目录

vi zookeeper.properties #编辑修改相应的参数

dataDir=/usr/local/kafka/zookeeper #zookeeper数据目录

dataLogDir=/usr/local/kafka/log/zookeeper #zookeeper日志目录

clientPort=2181

maxClientCnxns=100

tickTime=2000

initLimit=10

syncLimit=5

:wq! #保存退出

4、创建启动、关闭kafka脚本

cd /usr/local/kafka

4.1、创建启动脚本

vi kafkastart.sh     #编辑，添加以下代码

#!/bin/sh

#启动zookeeper

/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties &

sleep 3   #等3秒后执行

#启动kafka

/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &

:wq! #保存退出

4.2、创建关闭脚本

vi kafkastop.sh #编辑，添加以下代码

#!/bin/sh

#关闭zookeeper

/usr/local/kafka/bin/zookeeper-server-stop.sh /usr/local/kafka/config/zookeeper.properties &

sleep 3 #等3秒后执行

#关闭kafka

/usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server.properties &

:wq! #保存退出

#添加脚本执行权限

chmod +x kafkastart.sh

chmod +x kafkastop.sh

5、设置脚本开机自动执行

vi /etc/rc.d/rc.local #编辑，在最后添加一行

sh /usr/local/kafka/kafkastart.sh & ＃设置开机自动在后台运行脚本

:wq! #保存退出

sh /usr/local/kafka/kafkastart.sh #启动kafka

sh /usr/local/kafka/kafkastop.sh #关闭kafka

至此，Linux下Kafka单机安装配置完成。

遇到的问题：

OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000bad30000, 986513408, 0) failed; error='Cannot allocate memory' (errno=12)

表示启动内存不够，需要修改启动内存

进入到bin目录下，修改kafka-server-start.sh和zookeeper-server-start.sh

找到

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"    --------->>> 改为  export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

查看Kafka列表中的Topic

bin/kafka-topics.sh --list --zookeeper localhost:2181

借鉴：

https://www.cnblogs.com/Robert-huge/p/5649826.html（安装）

https://blog.csdn.net/xukaics/article/details/48543881（遇到的问题）