Redis：代码实战之缓存污染

已于 2023-04-11 22:45:02 修改
阅读量82 收藏
点赞数 1
分类专栏： redis 文章标签： redis 缓存 学习
于 2023-04-09 19:33:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41372835/article/details/130046370
版权

文章目录

【关于作者】

关于作者，目前在蚂蚁金服搬砖任职，在支付宝营销投放领域工作了多年，目前在专注于内存数据库相关的应用学习，如果你有任何技术交流或大厂内推及面试咨询，都可以从我的个人博客（https://0522-isniceday.top/）联系我

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kltXyZTm-1681039806327)(https://zhangyuxiangplus.oss-cn-hangzhou.aliyuncs.com/boke/缓存污染.png)]

1.什么是缓存污染

缓存污染指的是缓存中存在很多冷数据或者说查询频次很少的数据，如果这些数据占用的内存过大，会引发缓存的淘汰，会影响其性能

2.如何解决缓存污染

根据缓存的淘汰策略，

  • 按照redis的淘汰策略而言，volatile-random和allkeys-random采取的是随机淘汰，而volatile-ttl则是只能在知道数据多长时间之后不再被访问之后才有效

  • LRU是否能够避免缓存污染？

    LRU：其核心思想是当一个数据刚被访问，那么这个数据一定是热数据，就会很久之后才会淘汰

    但是真的是热数据吗？

    由于只看访问时间，没有查看访问次数，可能会出现扫描单次查询操作时，无法解决缓存污染，如果这个单次扫描的数据量很大，那么这些数据的lru值都会很大，但是这些数据又不会再被访问，则会导致缓存污染

    img

  • Redis 4.0新增的LFU

    LFU会从两个维度淘汰数据：1.数据访问时间 2.数据访问次数

3.LFU缓存策略的优化

LFU在LRU的基础上加了个计数器，淘汰时会现将访问次数较少的数据淘汰，当数据访问次数一致时，再比较访问时间，访问时间小的先淘汰。

详情见Redis学习（十九）

哈哈哈张大侠
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
stream-cache-redis:在 redis 中缓存流
07-01
流缓存redis 在 redis 中缓存流 安装 npm install stream-cache-redis 用法 var getSlowStream = require ( './my-slow-stream' ) var cachedStream = require ( 'stream-cache-redis' ) ( { cache : ...
数据库实战：Redis缓存数据库实战资源
最新发布
05-04
数据库实战之Redis缓存数据库实战资源
设置log缓存_缓存篇（05）缓存被污染了，该怎么办？
weixin_42499335的博客
01-15 154
我们应用 Redis 缓存时，如果能缓存会被反复访问的数据，那就能加速业务应用的访问。但是，如果发生了缓存污染，那么，缓存对业务应用的加速作用就减少了。那什么是缓存污染呢？在一些场景下，有些数据被访问的次数非常少，甚至只会被访问一次。当这些数据服务完访问请求后，如果还继续留存在缓存中的话，就只会白白占用缓存空间。这种情况，就是缓存污染。当缓存污染不严重时，只有少量数据占据缓存空间，此时，对缓存系统...
27 缓存污染（缓存数据的淘汰策略）
pdf超级菜
05-14 216
缓存污染 定义：有些数据访问次数非常少，甚至只会被访问一次。当这些数据服务完访问请求之后，继续会留在内存中，占用缓存空间。 八种数据淘汰策略： noeviction、volatile-random、volatile-ttl、volatile-lru、volatile-lfu、allkeys-lru、allkeys-random 和 allkeys-lfu 策略 volatile-random 和 allkeys-random 采用随机挑选数据的方式来筛选即将被淘汰的数据。 Redis不会根据数据的访问情况来
什么是预读失效和缓存污染
一点
04-21 354
预读失效（Predictive Prefetching Invalidation）是指在计算机系统中，特别是涉及到磁盘I/O操作时，系统预测未来的数据访问模式并提前加载数据到缓存中，但实际的访问模式与预测不符，导致提前加载的数据变得不再需要，从而造成缓存空间的浪费。缓存污染（Cache Pollution）是指在缓存中存储了大量不常用或不再需要的数据，这些数据占据了宝贵的缓存空间，导致有用的数据无法被缓存，从而降低了缓存效率。缓存污染通常发生在缓存中存储了大量不再需要的数据，而这些数据阻碍了新数据的加载。
【Redis】缓存污染
花语无痕的博客
08-07 269
缓存污染定义摘自百度百科： 操作系统有很多存储区域，如硬盘，U盘，内存，缓存；它们的读取速度依次升高，在系统设计时，为了提高系统的运行效率，需要把常用的数据保存在读取速度高的地方，这就是缓存机制。 系统需要读取数据时，会首先从缓存中查找需要的数据，如果找到了则直接读取，找不到的话则从内存或者硬盘中找。由于缓存的运行速度比非缓存快得多，所以系统设计都会考虑缓存机制。 在缓存机制中，会存在把不常用的数据读取到缓存中的现象，这种现象称为缓存污染。
Redis核心技术与实战-学习笔记（二十七）：缓存被污染了
无名小辈
03-19 804
一.什么是缓存污染？ 缓存污染:在一些场景下，有些数据被访问次数非常少，甚至只会被访问一次。当这些数据服务完访问请求后，如果继续留存在缓存中的话，只会白白占用缓存空间。 缓存污染严重，大量不再访问的数据滞留在缓存中，数据会沾满整个空间，我们再往缓存中写入数据时候，就需要淘汰已有缓存，引入额外操作时间开销，进而影响应用的性能。 二.如何解决缓存污染问题 把不会再被访问的数据筛选出来并淘汰掉，这样就不会产生缓存被写满以后再淘汰旧数据的情况。 三.volatitle-random和allkeys-rand
高速缓存污染 cache pollution
Jason Leaster | Rebuilding the tower of babel
03-27 6418
高速缓冲污染是指正在执行的程序将不必要的数据从主存移到高速缓冲，降低了数据处理效率的现象。 CSAPP中提到的一种现象。   cache 的模型： 假设有一下代码 假设数组T[i] 和C[i]所有的初始数据都是0，并且cache为空,假设只有一级cache T[0] = T[0] +1;//这个时候T[0]会被从主存移动到cach
Redis:Redis代码
05-26
Redis和Memcached类似，为保证效率，数据都是缓存在内存中。区别的是Redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave（主从） 同步。 二、Redis在项目中的...
serverless-apollo-datasource-redis:Redis中具有缓存数据源的无服务器Apollo Server 2
05-11
这是在带有外部Redis缓存的REST或其他数据源的AWS Lambda上运行Apollo Server rc2的示例。 作为示例，我们使用纽约时报API文章搜索： : 部署方式 无服务器部署--region us-east-1-暂存阶段--profile ...
hello-redis:使用Redis缓存数据的Express应用程序
05-02
一个快速的应用程序演示了如何将Redis用于缓存数据，以便可以立即满足经常性请求。 要求 节点> = 8.x 雷迪斯 设置和运行 克隆此仓库。 使用npm install安装所有节点依赖项。 确保您的本地redis服务器实例在...
Redis缓存篇之缓存被污染了，该怎么办？
香农三定律的博客
12-11 515
Redis缓存篇之缓存被污染了，该怎么办？引言如何解决缓存污染问题LRU 缓存策略LFU 缓存策略的优化 引言 那什么是缓存污染呢？在一些场景下，有些数据被访问的次数非常少，甚至只会被访问一次。当这些数据服务完访问请求后，如果还继续留存在缓存中的话，就只会白白占用缓存空间。当缓存污染不严重时，只有少量数据占据缓存空间，此时，对缓存系统的影响不大。但是，缓存污染一旦变得严重后，就会有大量不再访问的数据滞留在缓存中。如果这时数据占满了缓存空间，我们再往缓存中写入新数据时，就需要先把这些数据逐步淘汰出缓存，这就会
应对Redis缓存污染问题，你应该知道这些内容
m0_73311735的博客
11-22 599
我们在使用Redis做为缓存时，能加速我们对于热点数据的查询。但是如果缓存中有大量的数据不再热门了，从而占据着大量的内存空间，那么我们的Redis性能就会收到很大影响。该如何解决这个问题呢？本文给你答案。就是在redis的数据，如果被访问的次数极少，在缓存中起到的作用就不大，若不处理的话，还会占用缓存空间。这就是缓存污染。当这些污染数据不多时，对缓存系统影响不大。但污染数据变得很多之后，缓存空间就堆积了大量无用数据。这个时候我们要再往缓存写数据，就得将这些数据淘汰掉。
聊聊服务端缓存那些事（预热、淘汰、污染、雪崩、穿透、击穿等）
weixin_38597669的博客
08-13 487
本文主要讲述了服务端缓存常见的问题，比如缓存不一致、缓存失效（雪崩、击穿、穿透）、热点缓存等问题及其解决办法
如何解决缓存污染问题
SayBlog
09-22 346
我们应用 Redis 缓存时，如果能缓存会被反复访问的数据，那就能加速业务应用的访问。但是，如果发生了缓存污染，那么，缓存对业务应用的加速作用就减少了。 那什么是缓存污染呢？在一些场景下，有些数据被访问的次数非常少，甚至只会被访问一次。当这些数据服务完访问请求后，如果还继续留存在缓存中的话，就只会白白占用缓存空间。这种情况，就是缓存污染。 当缓存污染不严重时，只有少量数据占据缓存空间，此时，对缓存系统的影响不大。但是，缓存污染一旦变得严重后，就会有大量不再访问的数据滞留在缓存中。如果这时数据占满了缓存空
27 | 缓存被污染了，该怎么办？
qq_37756660的博客
02-25 853
我们应用 Redis 缓存时，如果能缓存会被反复访问的数据，那就能加速业务应用的访问。但是，如果发生了缓存污染，那么，缓存对业务应用的加速作用就减少了。那什么是缓存污染呢？在一些场景下，有些数据被访问的次数非常少，甚至只会被访问一次。当这些数据服务完访问请求后，如果还继续留存在缓存中的话，就只会白白占用缓存空间。这种情况，就是缓存污染。当缓存污染不严重时，只有少量数据占据缓存空间，此时，对缓存系统的影响不大。但是，缓存污染一旦变得严重后，就会有大量不再访问的数据滞留在缓存中。
【Redis学习笔记】缓存污染
宋小黑的博客
02-03 478
一张思维导图鸟瞰全文 什么是缓存污染问题？ 缓存污染问题说的是缓存中一些只会被访问一次或者几次的的数据，被访问完后，再也不会被访问到，但这部分数据依然留存在缓存中，消耗缓存空间。 缓存污染会随着数据的持续增加而逐渐显露，随着服务的不断运行，缓存中会存在大量的永远不会再次被访问的数据。缓存空间是有限的，如果缓存空间满了，再往缓存里写数据时就会有额外开销，影响Redis性能。这部分额外开销主要是指写的时候判断淘汰策略，根据淘汰策略去选择要淘汰的数据，然后进行删除操作。 如何解决缓存污染问题 解决缓存污染问题，
缓存淘汰算法--LRU算法
jeff_0825的专栏
11-02 934
 缓存淘汰算法--LRU算法               1. LRU 1.1. 原理 LRU（Least recently used，最近最少使用）算法根据数据的历史访问记录来进行淘汰数据，其核心思想是“如果数据最近被访问过，那么将来被访问的几率也更高”。 1.2. 实现 最常见的实现是使用一个链表保存缓存数据，详细算法实现如下： 1. 新数据插入到链表头部
redis雪崩：缓存穿透，缓存击穿
07-21
Redis雪崩、缓存穿透和缓存击穿都是与缓存相关的问题，以下是它们的具体含义： 1. Redis雪崩：指在某个时间点，缓存中的大量数据同时失效或过期，导致大量请求直接访问数据库，给数据库造成巨大压力，甚至导致...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

哈哈哈张大侠

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值