Centos7 部署kafka

 

一、Centos7 部署kafka

二、kafka客户端用C#实现生产者（Producer）和消费者（Consumer）

三、kafka开机自启动配置

kafka是做什么的，此处就不再做过多的阐述了，只记录环境配置的过程

1、安装Java环境，此处略过

2、下载kafka的安装包（下载地址：http://kafka.apache.org/downloads）

#下载文件到usr/local目录里边
cd /usr/local
wget https://downloads.apache.org/kafka/2.5.0/kafka_2.13-2.5.0.tgz

解压压缩包

tar -zxvf kafka_2.13-2.5.0.tgz

cd kafka_2.13-2.5.0

3、修改zookeeper的配置文件，zookeeper的配置文件是config/zookeeper.protertie：

4、修改kafka的配置文件，kafka的配置文件是config/server.proterties，本地IP地址是192.168.0.129，修改如下：

l

listeners这个要调整，不然后面远程连接连不上。

5、放开端口2821、9020，此处用的iptables，放开标记的几个端口

vim /etc/sysconfig/iptables

6、启动zookeeper，这个在kafka的安装包中带的有，kafka和zookper都在上面安装包的bin目录下，然后启动kafka

#启动zookeeper
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

#启动kafka
bin/kafka-server-start.sh config/server.properties
#后台启动kafka
bin/kafka-server-start.sh config/server.properties 1>/dev/null 2>&1 &
#在后台以守护进程的方式启动
bin/kafka-server-start.sh -daemon config/server.properties  &

启动后，可以用jps查看zookeeper和kafka是否在运行，没有jps的安装一下

jps

如果有：QuorumPeerMain（代表zookeeper）和kafka，则代表kafka成功运行

7、kafka添加topic

#添加一个叫做test的topic
bin/kafka-topics.sh --create --zookeeper 192.168.0.129:2181 --replication-factor 1 --partitions 1 --topic test

8、kafka生产和消费

#消息生产
bin/kafka-console-producer.sh --broker-list 192.168.0.129:9092 --topic test

 

#消费消息
bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.129:9092 --topic test --from-beginning