一、Centos7 部署kafka
二、kafka客户端用C#实现生产者(Producer)和消费者(Consumer)
三、kafka开机自启动配置
kafka是做什么的,此处就不再做过多的阐述了,只记录环境配置的过程
1、安装Java环境,此处略过
2、下载kafka的安装包(下载地址:http://kafka.apache.org/downloads)
#下载文件到usr/local目录里边
cd /usr/local
wget https://downloads.apache.org/kafka/2.5.0/kafka_2.13-2.5.0.tgz
解压压缩包
tar -zxvf kafka_2.13-2.5.0.tgz
cd kafka_2.13-2.5.0
3、修改zookeeper的配置文件,zookeeper的配置文件是config/zookeeper.protertie:
4、修改kafka的配置文件,kafka的配置文件是config/server.proterties,本地IP地址是192.168.0.129,修改如下:
l
listeners这个要调整,不然后面远程连接连不上。
5、放开端口2821、9020,此处用的iptables,放开标记的几个端口
vim /etc/sysconfig/iptables
6、启动zookeeper,这个在kafka的安装包中带的有,kafka和zookper都在上面安装包的bin目录下,然后启动kafka
#启动zookeeper
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
#启动kafka
bin/kafka-server-start.sh config/server.properties
#后台启动kafka
bin/kafka-server-start.sh config/server.properties 1>/dev/null 2>&1 &
#在后台以守护进程的方式启动
bin/kafka-server-start.sh -daemon config/server.properties &
启动后,可以用jps查看zookeeper和kafka是否在运行,没有jps的安装一下
jps
如果有:QuorumPeerMain(代表zookeeper)和kafka,则代表kafka成功运行
7、kafka添加topic
#添加一个叫做test的topic
bin/kafka-topics.sh --create --zookeeper 192.168.0.129:2181 --replication-factor 1 --partitions 1 --topic test
8、kafka生产和消费
#消息生产
bin/kafka-console-producer.sh --broker-list 192.168.0.129:9092 --topic test
#消费消息
bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.129:9092 --topic test --from-beginning