1.项目结构说明
2.netty使用配置
2.1相关TCP长链接配置在application-prd.properties或者application-dev.properties中
# netty 配置端口及相关
# Websocket服务端口
netty.websocket.port=1024
# 绑定的网卡
netty.websocket.ip=0.0.0.0
# 主线程组
netty.websocket.bossgroup = 1
# 工作线程组
netty.websocket.workgroup = 200
# 队列大小
netty.websocket.backlog = 1024
2.2接收数据在NettyServerHandler.java类中,接收的消息数据可以直接写入kafka主题中进行缓存
/**
* 客户端发消息会触发
*/
@Override
public void channelRead(ChannelHandlerContext ctx, Object msg) {
try {
log.info("服务器收到消息: {}", msg.toString());
//接收信息写入kafka
StaticKafka.staticKafkaTemplate.send(StaticKafka.KAFKA_REAL, msg.toString());
//获取客户端信息
String host = ((InetSocketAddress)ctx.channel().remoteAddress()).getAddress().getHostAddress();
int port = ((InetSocketAddress)ctx.channel().remoteAddress()).getPort();
//返回信息
ctx.write("{\"host\":\""+host+"\",\"port\":\""+port+"\"}");
ctx.flush();
}catch ( Exception e){
e.printStackTrace();
}
}
2.3Kafka生产者配置在application-prd.properties或者application-dev.properties中
# Kafka 配置
spring.kafka.bootstrap-servers=IP:9092
#指定listener 容器中的线程数,用于提高并发量
spring.kafka.listener.concurrency= 5
#生产者
# 重试的次数
spring.kafka.producer.retries=0
spring.kafka.producer.buffer-memory= 33554432
spring.kafka.producer.key-serializer= org.apache.kafka.common.serialization.StringSerializer
spring.kafka.producer.value-serializer= org.apache.kafka.common.serialization.StringSerializer
2.4kafka消费者可以单独新建项目,生产和消费要在高并发的情况下进行分离,这边采用批量消费的方式。消费者配置在application-prd.properties或者application-dev.properties中
#消费者
# 默认的消费组ID
spring.kafka.consumer.group-id= netintechgroups
# 是否自动提交offset
spring.kafka.consumer.enable-auto-commit= false
# 提交offset延时(接收到消息后多久提交offset)
spring.kafka.consumer.auto-commit-interval= 100
# earliest:当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,从头开始消费
# latest:当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,消费新产生的该分区下的数据
# none:topic各分区都存在已提交的offset时,从offset后开始消费;只要有一个分区不存在已提交的offset,则抛出异常
spring.kafka.consumer.auto-offset-reset= latest
spring.kafka.consumer.key-deserializer= org.apache.kafka.common.serialization.StringDeserializer
spring.kafka.consumer.value-deserializer= org.apache.kafka.common.serialization.StringDeserializer
# 批量消费的条数
spring.kafka.consumer.max-poll-records=500
# 开启批量消费
spring.kafka.listener.type= batch
spring.kafka.listener.ack-mode= manual_immediate
消费者使用单独项目的时候要在配置文件中加上
消费类,使用@KafkaListener注解监听,实际代码在KafkaConsumer.java中
/**
* kafka消费监听 批量消费
* topics 主题
* groupId 消费组
*/
@KafkaListener(topics = StaticKafka.KAFKA_REAL)
public void listener(List<ConsumerRecord<String, String>> consumerRecords, Acknowledgment acknowledgment) {
log.info("kafka批量条数:"+consumerRecords.size());
//可以批量进行入库操作
for (ConsumerRecord<String, String> record : consumerRecords) {
log.info("数据:"+record.value());
// 手动提交offset
acknowledgment.acknowledge();
}
}
完整代码下载:使用netty实现TCP长链接消息写入kafka以及kafka批量消费数据-Java文档类资源-CSDN下载