- 博客(2)
- 收藏
- 关注
RSS订阅原创 如何处理RabbitMQ 消息堆积和消息丢失问题
消息堆积 解决方案：增加消费者或后台相关组件的吞吐能力增加消费的多线程处理根据不同的业务实现不同的丢弃任务，选择不同的策略淘汰任务默认情况下，RabbitMQ消费者为单线程串行消费，设置并行消费两个关键属性，他们设置的是对每个消费者在初始化的时候设置的并发消费者个数，prefetchCount 是每次一次性从broker中获取的待消费的消息个数。concurrentConsumerprefetchConcurrentConsumer消息丢失 解决方案：持久化消息确认机制..
2021-07-17 14:51:27
333
原创 基于Flink构建全场景实时数仓
目录：一. 实时计算初期二. 实时数仓建设三. Lambda架构的实时数仓四. Kappa架构的实时数仓五. 流批结合的实时数仓实时计算初期虽然实时计算在最近几年才火起来，但是在早期也有部分公司有实时计算的需求，但是数据量比较少，所以在实时方面形成不了完整的体系，基本所有的开发都是具体问题具体分析，来一个需求做一个，基本不考虑它们之间的关系，开发形式如下：早期实时计算早期实时计算如上图所示，拿到数据源后，会经过数据清洗，扩维，通过Flink进行业务逻辑处理，最后直接进行业务输出。把这
2021-07-17 14:30:26
320
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人