消息中间件
文章平均质量分 60
java_gp
出身蝼蚁
当有鸿鹄之志
命如纸薄
却有不屈之心
乾坤未定
你我皆是黑马
展开
-
kafka(五)大数量消息持续积压几个小时如何解决
MQ消息积压原创 2022-11-25 12:35:32 · 2022 阅读 · 1 评论 -
Kafka黑话(基本概念)(一)
kafka中的基本概念消息和批次消息:消息kafka里的数据单元,也就是我们一般消息中间件里的消息概念;消息由字节数组组成,消息还可以包含键,用以对消息选取分区。批次:为了提高效率,消息被分批写入kafka;批次就是一组消息,这些消息属于同一个主题和分区。如果只传递单个消息,会导致大量的网络开销,把消息分成批次传输可以减少开销。但是,这个需要权衡,批次里包含的消息越多,单位时间内处理的消息就越多,单个消息的传输时间就越长。如果进行压缩,可以提升数据的传输和存储能力,但需要更多的计算处理。原创 2020-06-22 13:33:16 · 175 阅读 · 0 评论 -
kafka(四)拿代码说话
1、kafka生产者三种发送方式: 通过生产者的send方法进行发送,send方法会返回一个包含 RecordMetadata 的 Future 对象。RecordMetadata 中包含了目标主题,分区信和和消息的偏移量。1.1 发送并忘记 忽略send 方法的返回值,不做任何处理。大多数情况下,消息会正常到达,而且生产者会自动重试,但有时会丢失消息。1.2 同步非阻塞发送 获得send方法返回的 Future对象,在合适的时候调用 Future...原创 2020-06-30 14:25:15 · 226 阅读 · 0 评论 -
kafka基本配置(二)
kafka的安装、管理、和配置安装准备环境 kafka是用Scala编写,但ta也是Java生态圈下的一员,运行在Java虚拟机上,所以安装运行和普通的Java程序没有什么区别。 官方推荐使用Java8. kafka需要Zookeeper保存集群的元数据信息和消费者信息。kafka一般会自带Zookeeper,但是从稳定性考虑,使用单独的Zookeeper,而且构建Zookeeper集群。(Eclipse、MyEclipse不用自带的tomcat。。。...原创 2020-06-23 08:44:01 · 402 阅读 · 0 评论 -
kafka(三)常见面试题
为什么使用消息队列? 这就是要问消息队列都有哪些使用场景,说说项目里具体是什么场景。 面试官最想听到的回答是:公司什么业务场景应用到了,有什么技术挑战,不用kafka会怎么样,用了会怎样;如:一个insert接口,存储上万条数据时,就会垮掉,用了消息中间件获取到的数据存到kafka,等待接收者(消费者)慢慢处理。。。。。解耦 1号系统发送数据到ABC三个子系统,接口调用发送,如果有一个D系统也需要这个数据怎么办????如果B系统不需要了呢???当前1号系统...原创 2020-06-24 10:29:59 · 296 阅读 · 1 评论