1.场景描述
因kafka以前用的不多,只往topic中写入和读取过数据,这次刚好又要用到,记录下kafka集群搭建及结合springboot使用。
2. 解决方案
2.1 简单介绍
(一)关于kafka,网上的介绍有很多,简单说就是消息中间件,大数据项目中经常使用,我们项目是用于接收日志流水数据。
(二)关于消息中间件,主要有四个:
(1)ActiveMQ:历史悠久,以前项目中使用多,现在更新慢,性能相对不高。
(2)RabbitMQ:可靠性高、安全,模式比较多,java使用比较多,每秒十万级别
(3)Kafka:分布式、高性能、跨语言,性能超高,每秒百万级别,模式简单。
(4)RocketMQ:阿里开源的消息中间件,纯Java实现,有商业版,收费,导致推广一般。
(三)kafka与其他三个相比,优势在于:
(1)性能高,每秒百万级别;
(2)分布式,高可用,水平扩展。
(四) kafka官网图
![bba76b036eb3735d214a4d22d7c30eb6.png](https://i-blog.csdnimg.cn/blog_migrate/e887815971f22afe590b7af22a3bcc4b.jpeg)
有中文官网,可以详细看看。
地址:http://kafka.apachecn.org/intro.html
![e23d79b7172487d51e5198929157da13.png](https://i-blog.csdnimg.cn/blog_migrate/5b3eb0776a72df92c9eee37f8e8f8645.jpeg)
2.2 软件下载
2.2.1 kakfa下载
地址:http://kafka.apache.org/downloads,下载最新的2.4.1。
![b4c2fc7d74b0ff456eb282fb1bf3792d.png](https://i-blog.csdnimg.cn/blog_migrate/3c35b254ac909775d8562800e4ad630c.jpeg)
2.2.2 zookeeper下载
(1)因为kafka要依赖于zookeeper做调度,kafka中实际自带的有kafka,但是一般建议使用独立的zookeeper,方便后续升级及公用。
(2)下载地址:
http://zookeeper.apache.org/,最新的是3.6.0,不过发布不久,建议先跟kafka内置zookeeper保持一致,使用3.5.7版本。
![c3d6280fb71ef3d86cc96892e2e38e41.png](https://i-blog.csdnimg.cn/blog_migrate/f00af65dd84f81f406f9799d567f1b1e.jpeg)
2.2.3 下载说明
文件都不大,zk是9m多,kafka是50多兆
![b3c2ecb39070d64f4e99188134cd8ee1.png](https://i-blog.csdnimg.cn/blog_migrate/80aa079ba5d6e44c0688020a88d7e9d6.jpeg)
2.3 kafka单机部署及集群部署
说明:软件老王本地弄了三台虚拟机,ip分别为:
192.168.85.158192.168.85.168192.168.85.178
2.3.1 单机部署
(1)上传jar包,就不再新建用户了,直接在root账户下执行,将kafka和zookeeper的tar包上传到/root/tools目录下。
(2)解压
[root@ruanjianlaowang158 tools]# tar -zxvf kafka_2.12-2.4.1.tgz [root@ruanjianlaowang158 tools]# tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz
(3)配置zookeeper及启动
[root@ruanjianlaowang158 apache-zookeeper-3.5.7-bin]# cd /root/tools/apache-zookeeper-3.5.7-bin#软件老王,首先创建个空文件夹,在接下来的配置文件中配置[root@ruanjianlaowang158 apache-zookeeper-3.5.7-bin]# mkdir data[root@ruanjianlaowang158 conf]# cd /root/tools/apache-zookeeper-3.5.7-bin/conf[root@ruanjianlaowang158 conf]# cp zoo_sample.cfg zoo.cfg [root@ruanjianlaowang158 conf]# vi zoo.cfg #单机只改一个值,保存退出。#dataDir=/tmp/zookeeperdataDir=/root/tools/apache-zookeeper-3.5.7-bin/data#启动zookeeper[root@ruanjianlaowang158 bin]# cd /root/tools/apache-zookeeper-3.5.7-bin/bin[root@ruanjianlaowang158 bin]# ./zkServer.sh start
(4)配置kafka及启动
[root@ruanjianlaowang158 kafka_2.12-2.4.1]# cd /root/tools/kafka_2.12-2.4.1#软件老王,新建个空文件夹[root@ruanjianlaowang158 kafka_2.12-2.4.1]# mkdir data#软件老王,更改配置文件[root@ruanjianlaowang158 config]# cd /root/tools/kafka_2.12-2.4.1/config[root@ruanjianlaowang158 config]# vi server.properties #需要改3个值#log.dirs=/tmp/kafka-logslog.dirs=/root/tools/kafka_2.12-2.4.1/data#listeners = PLAINTEXT://your.host.name:9092listeners=PLAINTEXT://192.168.85.158:9092#zookeeper.connect=localhost:2181zookeeper.connect=192.168.85.158:2181#启动kafka[root@ruanjianlaowang158 bin]# cd /root/tools/kafka_2.12-2.4.1/bin[root@ruanjianlaowang158 bin]# ./zookeeper-server-start.sh ../config/server.properties &
启动完毕,单机验证就不验证了,直接在集群中进行验证。
2.3.2 集群部署
(1)集群方式,首先把上面的单机模式,再在192.168.85.168和192.168.85.178服务器上先解压配置一遍。
(2)zookeeper是还是更改zoo.cfg
158,168,178三台服务器一样:
[root@ruanjianlaowang158 conf]# cd /root/tools/apache-zookeeper-3.5.7-bin/conf[root@ruanjianlaowang158 conf]# vi zoo.cfg#其他不变,最后面新加,三行,三台服务器配置一样,软件老王server.1=192.168.85.158:2888:3888server.2=192.168.85.168:2888:3888server.3=192.168.85.178:2888:3888158服务器执行:echo "1" > /root/tools/apache-zookeeper-3.5.7-bin/data/myid168服务器执行:echo "2" > /root/tools/apache-zookeeper-3.5.7-bin/data/myid178服务器执行:echo "3" > /root/tools/apache-zookeeper-3.5.7-bin/data/myid
(3)kafka集群配置
[root@ruanjianlaowang158 config]# cd /root/tools/kafka_2.12-2.4.1/config[root@ruanjianlaowang158 config]# vi server.properties #broker.id 三台服务器不一样,158服务器设置为1,168服务器设置为2,178服务器设置为3 broker.id=1#三个服务器配置一样zookeeper.connect=192.168.85.158:2181,192.168.85.168:2181,192.168.85.178:2181
Kafka常用Broker配置说明:
配置项默认值/示例值说明broker.id0Broker唯一标识listenersPLAINTEXT://192.168.85.158:9092监听信息,PLAINTEXT表示明文传输log.dirs/root/tools/apache-zookeeper-3.5.7-bin/datakafka数据存放地址,可以填写多个。用","间隔message.max.bytesmessage.max.bytes单个消息长度限制,单位是字节num.partitions1默认分区数log.flush.interval.messagesLong.MaxValue在数据被写入到硬盘和消费者可用前最大累积的消息的数量log.flush.interval.msLong.MaxValue在数据被写入到硬盘前的最大时间log.flush.scheduler.interval.msLong.MaxValue检查数据是否要写入到硬盘的时间间隔。log.retention.hours24控制一个log保留时间,单位:小时zookeeper.connect192.168.85.158:2181,
192.168.85.168:2181,
192.168.85.178:2181ZooKeeper服务器地址,多台用","间隔
(4)集群启动
启动方式跟单机一样:
#启动zookeeper[root@ruanjianlaowang158 bin]# cd /root/tools/apache-zookeeper-3.5.7-bin/bin[root@ruanjianlaowang158 bin]# ./zkServer.sh start#启动kafka[root@ruanjianlaowang158 bin]# cd /root/tools/kafka_2.12-2.4.1/bin[root@ruanjianlaowang158 bin]# ./zookeeper-server-start.sh ../config/server.properties &
(5)注意点
集群启动的时候,单机那台服务器(158)可能会报:Kafka:Configured broker.id 2 doesn't match stored broker.id 0 in meta.properties.方案:在158服务器data中有个文件:meta.properties,文件中的broker.id也需要修改成与server.properties中的broker.id一样,所以造成了这个问题。
(6)创建个topic,后面springboot项目测试使用。
[root@ruanjianlaowang158 bin]# cd /root/tools/kafka_2.12-2.4.1/bin[root@ruanjianlaowang158 bin]# ./kafka-topics.sh --create --zookeeper 192.168.85.158:2181,192.168.85.168:2181,192.168.85.178:2181 --replication-factor 3 --partitions 5 --topic aaaa
2.4 结合springboot项目
2.4.1 pom文件
<?xml version="1.0" encoding="UTF-8"?>4.0.0org.springframework.boot spring-boot-starter-parent 2.2.0.RELEASEcom.itany kafka 0.0.1-SNAPSHOTkafkaDemo project for Spring Boot1.8org.springframework.boot spring-boot-starter-web org.springframework.kafka spring-kafka org.springframework.boot spring-boot-maven-plugin
说明:
主要就两个gav,一个是spring-boot-starter-web,启动web服务使用;一个是spring-kafka,这个是springboot集成额kafka核心包。
2.4.2 application.yml
spring: kafka: # 软件老王,kafka集群服务器地址 bootstrap-servers: 192.168.85.158:9092,192.168.85.168:9092,192.168.85.178:9092 producer: key-serializer: org.apache.kafka.common.serialization.StringSerializer value-serializer: org.apache.kafka.common.serialization.StringSerializer consumer: group-id: test key-deserializer: org.apache.kafka.common.serialization.StringDeserializer value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
2.4.3 producer(消息生产者)
@RestControllerpublic class KafkaProducer { @Autowired private KafkaTemplate template; //软件老王,topic使用上测试创建的aaaa @RequestMapping("/sendMsg") public String sendMsg(String topic, String message){ template.send(topic,message); return "success"; }}
2.3.4 consumer(消费者)
@Componentpublic class KafkaConsumer { //软件老王,这里是监控aaaa这个topic,直接打印到idea中,软件老王 @KafkaListener(topics = {"aaaa"}) public void listen(ConsumerRecord record){ System.out.println(record.topic()+":"+record.value()); }}
2.4.5 验证结果
(1)浏览器上输入
http://localhost:8080/sendMsg?topic=aaaa&message=bbbb
(2)软件老王的idea控制台打印信息
![ca427d7c69336c8935987fb9acfff179.png](https://i-blog.csdnimg.cn/blog_migrate/ca897afe02dde1022781e71552814497.jpeg)
更多信息请关注@软件老王,关注不迷路,软件老王和他的IT朋友们,分享一些他们的技术见解和生活故事。