单机单节点部署kafka

环境准备

服务器:

linux服务器，CentOS 8.2 64位

JDK依赖:

CentOS 不同版本可能存在不同，但是有些版本，例如CentOS7自带了一个openjdk，使用的时候用诸多问题，例如明明配置了Java环境变量但是不能使用，这个时候需要卸载重新安装

查看已有openjdk版本

rpm -qa|grep jdk

卸载openjdk

remove后面的参数是上面得到的结果.noarch结尾的包

yum -y remove copy-jdk-configs-3.3-10.el7_5.noarch

下载jdk1.8

下载jdk-8u40-linux-x64.tar.gz，上传到/usr/local/soft/java
解压:

tar -zxvf jdk-8u40-linux-x64.tar.gz -C /usr/local/soft/java

配置环境变量

在/etc/profile文件的末尾加上

export JAVA_HOME=/usr/local/soft/java/jdk1.8.0_40
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

编译使之生效:

source /etc/profile

验证:

java -version

安装zookeeper

kafka其实自带zookeeper,但是我这边没有用它自带的，而是直接在本机部署了一个zookeeper。

1.下载

https://zookeeper.apache.org/releases.html 这里下载二进制版本，不需要编译。以安装路径 /usr/local/soft为例

cd /usr/local/soft
wget https://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.6.1/apache-zookeeper-3.6.1-bin.tar.gz

2、解压

tar -xzvf apache-zookeeper-3.6.1-bin.tar.gz

3、修改配置文件

cd apache-zookeeper-3.6.1-bin/conf
cp zoo_sample.cfg zoo.cfg

端口号默认2181。
配置文件zoo.cfg里面的dataDir要修改，如果不改，需要创建这个目录

mkdir -p /tmp/zookeeper

4、启动ZK

cd ../bin
./zkServer.sh start

zookeeper默认端口 2181
输出日志：

ZooKeeper JMX enabled by default
Using config: /usr/local/soft/apache-zookeeper-3.6.1-bin/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

查看是否启动成功:

ps -ef | grep zookeeper

kafka下载

1、下载解压kafka

获取下载地址（点开具体版本）：
http://kafka.apache.org/downloads

下载Binary 二进制版本而不是源码

cd /usr/local/soft
wget https://mirror.bit.edu.cn/apache/kafka/2.5.0/kafka_2.13-2.5.0.tgz
tar -xzvf kafka_2.13-2.5.0.tgz
cd kafka_2.13-2.5.0

2.启动zookeeper（参考上文命令）

3.启动kafka

修改相关配置:

vim config/server.properties

Broker ID启动以后就不能改了:

broker.id=1

取消注释，改成本机IP：

listeners=PLAINTEXT://xxxxxxxxxx:9092

num.partitions后面增加2行。
发送到不存在topic自动创建。允许永久删除topic。

num.partitions=1
auto.create.topics.enable=true
delete.topic.enable=true

后台启动kafka（kafka安装目录下):

nohup ./bin/kafka-server-start.sh ./config/server.properties & 

日志在logs目录下:

4.创建Topic

创建一个名为gptest的topic，只有一个副本，一个分区：

sh bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic gptest

查看已经创建的 topic：

sh bin/kafka-topics.sh -list -zookeeper localhost:2181

5、启动Producer

打开一个窗口，在kafka解压目录下：

sh bin/kafka-console-producer.sh --broker-list localhost:9092 --topic testtopic

6、启动Consumer

在一个新的远程窗口中：

sh bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic gptest --from-beginning

这个时候就可以在生产者的窗口发送消息了。