qq_18581221的博客

一次解决kafka producer发送很慢的经历使用场景：kafka发送producer为单实例并且使用同步发送，发送kafka使用线程池执行发送任务，任务队列大小为2000，kafka连接server端使用kerboeros认证当业务下发从nginx进入，两个tomcat节点进行发送kafka处理，1200TPS时会偶现几次处理时延很长，直接导致nginx504，第一时间打开debug日志...

前言Kafka，作为目前在大数据领域应用最为广泛的消息队列，其内部实现和设计有很多值得深入研究和分析的地方，使用kafka首先需要接触到producer的开发，然后是consumer开发，自0.8.2.x版本以后，kafka提供了java 版本的producer以代替以前scala版本的producer，下面进行producer的解析。Producer 概要设计发送简略流程图K...

Kafka介绍关于kafka入门的文章最好的就莫过于kafka的官方文档了，这上面对kafka的定义是：Kafka® is used for building real-time data pipelines and streaming apps. It is horizontally scalable, fault-tolerant, wicked fast, and runs in ...

文章目录简介kafka消费机制精确一次消费实现总结简介kafka消费机制精确一次消费实现总结

文章目录前言Consumer概要Consumer程序开发Consumer常用参数说明消息解序列化多线程处理消费消息源码解析总结前言KafkaProducer作为生产者发送消息到Kafka，那么自然也就需要从kafka读取消息，这就是KafkaConsumer，通过和Producer使用相同的topic约定来消费指定数据，使用kakfa就是缓冲消息，消费端才是处理消息的中心，数据处理的业务逻辑都...