![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
消息队列
龙YGL龙
技术没有会与不会,只有先会和后会。乐于分享,共同进步!
展开
-
kafka问题:第一次消费数据巨慢或者org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after
背景:在开发的过程中,当有大批量的数据进行同时处理的业务场景。为了保证系统的稳定性和防止数据丢失。我们需要使用消息队列,进行存储消息。这里kafka不失为一种最佳的选择。这里特别提醒一句话,kafka的版本不对一切都是白费,会出现各种问题。 但是在使用kafka的过程中,我遇到了如下问题:1、第一次消费数据是巨慢。大概需要40秒的时间才可以消费到。2、当我清理了k...原创 2019-12-26 19:58:35 · 2691 阅读 · 1 评论 -
为什么要用消息队列?消息队列可以解决哪些问题?
附原文链接:https://blog.csdn.net/boonya/article/details/68064231消息队列中间件是分布式系统中重要的组件,主要解决应用解耦,异步消息,流量削锋等问题,实现高性能,高可用,可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ。消息中间件到底该如何使用,何时使...转载 2019-05-07 15:34:42 · 3867 阅读 · 0 评论 -
Kafka学习心得及总结
Kafka 1.kafka是什么?使用场景?kafka是一个高吞吐的分布式消息队列系统。特点是生产者消费者模式,先进先出(FIFO)保证顺序,自己不丢数据,默认每隔7天清理数据。消息列队常见场景:系统之间解耦合、峰值压力缓冲、异步通信。底层使用的是nio的零拷贝,直接将信息写入文件磁盘,不用经过用户的内存空间。 2.kafka生产消息、存储消息、消费消息 ...原创 2019-05-16 17:11:33 · 880 阅读 · 0 评论 -
在阿里云服务器上安装kafka,并在springboot项目中进行使用(一)
安装kafka参见我这篇博客:https://blog.csdn.net/qq_29281307/article/details/90267337安装完毕后,现在还不行。现在还是有很多坑的,要进行一下配置:1.检查阿里云服务器的防火墙,及访问策略。释放相关端口,否则将访问不到服务。2.要配置vi /etc/hosts外网ip : 主机名比如 114.113....原创 2019-06-26 10:55:19 · 910 阅读 · 1 评论 -
在阿里云服务器上安装kafka,并在springboot项目中进行使用(二)
在springboot项目中对接kafka,并将kafka做成一个微服务。废话不多说,直接上代码。1.配置application.yml如下spring: application: name: @project.name@ profiles: active: @package.environment@ # jackson时间格式化 jackson: ...原创 2019-06-26 11:41:14 · 824 阅读 · 0 评论