分布式
摸石头
这个作者很懒,什么都没留下…
展开
-
热点缓存的流量分发策略
热点缓存导致系统崩溃 nginx+lua+storm的热点缓存的流量分发策略原创 2020-12-20 17:40:01 · 208 阅读 · 0 评论 -
基于storm实时热点统计的分布式并行缓存预热
缓存冷启动 系统第一次上线,缓存里无预热数据,导致大量请求穿透到数据库,导致系统故障 缓存预热 lua脚本转发流量到kafka storm集群实时统计热点数据,写入zk 缓存服务从zk中读取数据,更新缓存 ...原创 2020-12-20 16:56:54 · 175 阅读 · 0 评论 -
多级缓存重建并发冲突
多级缓存 适用时效性低的商品数据 商品服务发生信息变更,发送消息到kafka消息队列 缓存服务监听到消息变更,更新Redis缓存、ehcache缓存 缓存重建并发冲突 nginx缓存不存在是,通过hash路由到缓存服务A,此时缓存服务A缓存也不存在,则去数据库查询数据,更新Redis缓存 商品服务同时发生信息变更,通过kafka消息路由到缓存服务B,缓存服务B也去更新Redis缓存 针对同一商品,若缓存服务B先更新Redis,缓存服务A后更新Redis,缓存里的商品数据不是最新,且与数据库不一致原创 2020-12-20 16:01:57 · 124 阅读 · 1 评论 -
数据库与缓存双写一致性方案
数据库与缓存不一致 优化方案原创 2020-12-20 11:58:10 · 107 阅读 · 1 评论 -
Redis的RDB和AOF持久化
这里写自定义目录标题Redis的RDB和AOF持久化1、如何配置RDB持久化机制2、RDB持久化机制的工作流程3、如何配置AOF持久化机制4、AOF持久化机制工作流程5、AOF Rewrite6、AOF和RDB同时工作 Redis的RDB和AOF持久化 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。 1、如何配置RDB持久化机制 redis.conf文件,也就是/etc/redis原创 2020-12-06 14:28:18 · 69 阅读 · 0 评论 -
Redis:解决异步复制丢失、脑裂数据丢失状况
异步复制导致的数据丢失 因为master -> slave的复制是异步的,所以可能有部分数据还没复制到slave,master就宕机了,此时这些部分数据就丢失了 脑裂导致的数据丢失 脑裂,也就是说,某个master所在机器突然脱离了正常的网络,跟其他slave机器不能连接,但是实际上master还运行着 此时哨兵可能就会认为master宕机了,然后开启选举,将其他slave切换成了maste...转载 2019-05-15 21:22:21 · 1481 阅读 · 1 评论 -
Redis Replication运行流程及原理
1、复制的完整流程 (1)slave node启动,仅仅保存master node的信息,包括master node的host和ip,但是复制流程没开始 master host和ip是从哪儿来的,redis.conf里面的slaveof配置的 (2)slave node内部有个定时任务,每秒检查是否有新的master node要连接和复制,如果发现,就跟master node建立socket网络连...转载 2019-05-15 21:25:58 · 203 阅读 · 0 评论 -
高性能、高可用缓存架构
架构 方案设计要点 一、时效性数据 1、库存数据时效性要求高,采用缓存+数据库双写方案,实时更新缓存 2、商品概览数据时效性要求低,采用商品服务+消息对列 异步更新缓存 二、 ...原创 2019-06-22 13:33:42 · 665 阅读 · 0 评论