基于 Codis 的冷热缓存优化

于 2024-06-30 01:16:44 发布
阅读量920 收藏 21
点赞数 18
文章标签： 缓存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_86087848/article/details/140073458
版权

背景

–

  1. 热数据运维挑战：缓存存储分别有memcache,redis,redis cluster,codis等缓存对维护和运维带来很大的挑战。

  2. 冷数据成本挑战: 部分单服务内存超过500G根据三地两中心三副本部署共需要1.5T内存，未来随着用户增加内存不断的增加。

方案选择

  1. 针对热数据运维挑战：统一为codis方面集群的扩缩，自动负载，数据迁移和监控等

v2-8fbf0bfd0bbfa4c2cf30ff870c16a5f7_b.jpg

  1. 冷数据成本挑战：兼容codis协议使用磁盘存储kvrocks替换内存存储redis

v2-848cd38a4a73f2ae5ec4bd8c07a1e5c4_b.jpg

性能及问题

codis-redis内存存储问题

  1. 不支持多网卡造成codis-proxy添加集群auth认证失败

  2. 缺少监控耗时：仅仅有cod
    is-redis实例耗时没有codis-proxy监控耗时，造成业务反馈超时codis本身没有超时

  3. 懒惰删除不及时造成集群空间浪费比较大

codis-kvrocks磁盘存储问题

  1. 不支持codis协议，不支持水平扩缩容，不支持读写分离

  2. 读耗时较高

解决方案

codis-redis内存存储问题

1: 针对多网卡仅获取具有广播地址ip：

var broadcaseAddrs []string

interfaces, err := net.Interfaces()

if err != nil {

log.WarnErrorf(err, “Can not get local interface info”)

}

for _, inter := range interfaces {

flags := inter.Flags.String()

if strings.Contains(flags, “up”) && strings.Contains(flags, “broadcast”) {

addrs,err := inter.Addrs()

if err!=nil {

log.WarnErrorf( err,“Can not get inter.Addrs”)

}else {

for _,value :=range addrs {

broadcaseAddrs = append (broadcaseAddrs,value.String())

}

log.Infof("broadcaseAddrs %s ", broadcaseAddrs)

}

}

}

2: 针对耗时无监控添加耗时超时100ms日志（请求ip，redis ip，redis命令，命令长度等维度）,Filebeat采集日志针对耗时高请求进行监控报警：

func (s *Session) loopWriter(tasks *RequestChan) (err error) {

p := s.Conn.FlushEncoder()

p.MaxInterval = time.Millisecond

p.MaxBuffered = maxPipelineLen / 2

return tasks.PopFrontAll(func(r *Request) error {

resp, err := s.handleResponse®

if err != nil {

resp = redis.NewErrorf(“ERR loopWriter handle response, %s”, err)

if s.Conn!=nil {

log.Errorf(“ERR loopWriter handle response err=%s,remotip=%s”, err.Error() ,s.Conn.RemoteAddr())

}else{

log.Errorf(“ERR loopWriter handle response err=%s”, err.Error())

}

return s.incrOpFails(r, err)

}

fflush := tasks.IsEmpty()

if err := p.Flush(fflush); err != nil {

return s.incrOpFails(r, err)

} else {

s.incrOpStats(r, resp.Type)

cost:= time.Now().UnixNano() - r.UnixNano

if s.config.SessionSlowlogTime > 0 && cost > s.config.SessionSlowlogTime*1000000 {

log.Warnf(“cmd=%s, resType=%s,resLen=%d,cost=%d,forward addr=%s,req key=%s, reqip=%s”,r.OpStr, r.Resp.Type.String(),len(r.Resp.Value),cost/1000000,r.addr,r.key,s.Conn.RemoteAddr())

}

}

if fflush {

s.flushOpStats(false)

}

return nil

})

}

3: 针对懒惰删除机制慢，加大低峰期删除key个数和频率,上线后删除过期的key加大10倍，节省内存资源。

func (s *Session) loopWriter(tasks *RequestChan) (err error) {

p := s.Conn.FlushEncoder()

p.MaxInterval = time.Millisecond

p.MaxBuffered = maxPipelineLen / 2

return tasks.PopFrontAll(func(r *Request) error {

resp, err := s.handleResponse®

if err != nil {

resp = redis.NewErrorf(“ERR loopWriter handle response, %s”, err)

if s.Conn!=nil {

log.Errorf(“ERR loopWriter handle response err=%s,remotip=%s”, err.Error() ,s.Conn.RemoteAddr())

}else{

log.Errorf(“ERR loopWriter handle response err=%s”, err.Error())

}

return s.incrOpFails(r, err)

}

fflush := tasks.IsEmpty()

if err := p.Flush(fflush); err != nil {

return s.incrOpFails(r, err)

} else {

s.incrOpStats(r, resp.Type)

cost:= time.Now().UnixNano() - r.UnixNano

if s.config.SessionSlowlogTime > 0 && cost > s.config.SessionSlowlogTime*1000000 {

log.Warnf(“cmd=%s, resType=%s,resLen=%d,cost=%d,forward addr=%s,req key=%s, reqip=%s”,r.OpStr, r.Resp.Type.String(),len(r.Resp.Value),cost/1000000,r.addr,r.key,s.Conn.RemoteAddr())

}

}

if fflush {

s.flushOpStats(false)

}

return nil

})

}

codis-kvrocks

性能数据（第三方数据显示qps可以和redis媲美，耗时较高）

v2-cbfd93935a7ed7e521273558f5aa1f91_b.jpg

整体架构

v2-4b6c23c94588ae273193ae7e5ea875cd_b.jpg

问题

  1. 针对不支持codis增加对codis slot命令支持：

ADD_CMD(“slotsscan”, CommandSlotsScan),

ADD_CMD(“slotsdel”, CommandSlotsDel),

ADD_CMD(“slotsmgrtslot”, CommandSlotsMgrtSlot),

ADD_CMD(“slotsmgrtone”, CommandSlotsMgrtOne),

ADD_CMD(“slotsmgrttagslot”, CommandSlotsMgrtTagSlot),

ADD_CMD(“slotsmgrttagone”, CommandSlotsMgrtTagOne),

ADD_CMD(“slotsrestore”, CommandSlotsRestore),

ADD_CMD(“slotshashkey”, CommandSlotsHashKey),

ADD_CMD(“slotscheck”, CommandSlotsCheck),

ADD_CMD(“slotsmgrtslot-async”, CommandSlotsMgrtSlotAsync),

ADD_CMD(“slotsmgrttagslot-async”, CommandSlotsMgrtTagSlotAsync),

ADD_CMD(“slotsmgrt-exec-wrapper”, CommandSlotsMgrtExecWrapper),

ADD_CMD(“slotsmgrt-async-status”, CommandSlotsMgrtAsyncStatus),

ADD_CMD(“slotsmgrt-async-cancel”, CommandSlotsMgrtAsyncCancel),

如果codis扩容实例需要迁移slot中keys代码如下：

void SlotsMgrtSenderThread::loop() {

Redis::Slot slot_db(storage_);

while (!IsStopped()) {

auto s = Util::SockConnect(dest_ip_, dest_port_, &sock_fd, timeout_ms_, timeout_ms_);

moved_keys_all_ = 0;

while (is_migrating_) {

if (keys_num_ <= 0) {

sleep(1);

continue;

}

std::vectorstd::string migrate_batch_keys;

auto s = ElectMigrateKeys(&migrate_batch_keys);

std::lock_guardstd::mutex ones_guard(ones_mu_);

std::copy(migrating_ones_.begin(), migrating_ones_.end(), std::back_inserter(migrate_batch_keys));

if (migrate_batch_keys.size() != 0) {

moved_keys_num_ = 0;

}

std::vectorstd::string().swap(migrating_ones_);

for (auto const &key : migrate_batch_keys) {

auto s = slot_db.MigrateOneKey(sock_fd, key);

moved_keys_num_++;

moved_keys_all_++;

remained_keys_num_–;

}

if (error_) {

break;

}

if (remained_keys_num_ == 0) {

LOG(INFO) << “[slots-mgrt-sender-thread] Migrate slot: " << slot_num_ << " finished”;

slotsmgrt_cond_.Signal();

StopMigrateSlot();

break;

}

}

} // namespace Redis

2. 读耗时优化

RocksDB 的全量 Compact 导致磁盘 IO 从而造成业务访问的毛刺点问题，之前策略是每天凌晨低峰时段进行一次，过于频繁会导致访问毛刺点，频率过低会导致磁盘空间回收不及时。所以增加另外一种部分 Compact 策略，优先对那些比较老以及无效 KV 比较多的 SST进行 Compact。开启只需要在配置文件里面增加一行，那么则会在凌晨 3 到 7 点之间去检查这些 SST 文件并做Compact。

另外由于RocksDB定时Compact sst文件造成大量磁盘IO，而像SATA磁盘IO瓶颈最大200M/s超过这个阀值读写都要等待，所以还需要设置磁盘Compact最大磁盘IO阀值小于磁盘IO的瓶颈。

The maximum allowed aggregated write rate of flush and compaction (in MB/s).

If the rate exceeds max-io-mb, io will slow down.

0 is no limit

Default: 500

max-io-mb 150

最后

小编这些年深知大多数初中级工程师，想要提升自己，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。

因此我收集整理了一份《2024年Java全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你需要这些资料，⬅专栏获取
s).

If the rate exceeds max-io-mb, io will slow down.

0 is no limit

Default: 500

max-io-mb 150

最后

小编这些年深知大多数初中级工程师，想要提升自己，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。

因此我收集整理了一份《2024年Java全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

[外链图片转存中…(img-g0CQ5tTr-1719681393609)]

[外链图片转存中…(img-p6NP9oPE-1719681393609)]

[外链图片转存中…(img-JdlzIf2Y-1719681393610)]

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你需要这些资料，⬅专栏获取

2401_86087848
关注
  • 18
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
面试官：你知道 LRU算法 —— 缓存淘汰算法吗？
10-03 1万+
常用缓存提升数据查询速度，由于缓存容量有限，当缓存容量到达上限，就需要删除部分数据挪出空间，这样新数据才可以添加进来。缓存数据不能随机删除，一般情况下我们需要根据某种算法删除缓存数据。常用淘汰算法有 LRU,LFU,FIFO。这篇文章我们聊聊 LRU 算法。 一、LRU 简介 LRU 是 Least Recently Used 的缩写，这种算法认为最近使用的数据是热门数据，下一次很大概率将会再次被使用。而最近很少被使用的数据，很大概率下一次不再用到。当缓存容量的满时候，优先淘汰最近很少使用的数据。 假设
Codis3之参数调优
kris
12-25 507
1. 参数调优 1.1 关闭AOF 只做纯内存的缓存，其实只需要RDB就好了，不需要AOF，因为AOF性能比RDB差些，消耗的磁盘空间也更大，我们只需要RDB做冷备。相对于AOF持久化机制来说，直接基于RDB数据文件来重启和恢复redis进程，更加快速。使用RDB来进行快速的数据恢复，达到缓存预热的目的。 1.2 修改RDB配置 redis.conf文件，去配置持久化 save 900 1 sav...
Linux内核的冷热缓存
weixin_30713953的博客
01-25 225
缓存为什么会有冷热？ 究其原因，是因为对于内存的访问，可能是CPU发起的，也可以是DMA设备发起的。 如果是CPU发起的，在CPU的硬件缓存中，就会保存相应的页内容。如果这个页本来没有存在于硬件缓存中，那么它的到来，势必会将原本为其他的页缓存的内容挤出硬件缓存。 但是，如果对于内存的访问是由DMA设备发起的，那么该页不会被CPU访问，就不需要在CPU的硬件缓存中进行缓存，也不会对已经缓存在硬件缓存...
Codis ansiable playbook 一键部署
03-21
Codis Ansible Playbook 是一个自动化部署工具，用于简化 Codis 的集群安装和管理过程。Codis 是一个分布式 Redis 解决方案，它允许你水平扩展 Redis 集群，提高数据存储和处理能力。Ansible 是一个强大的 IT 自动化...
Spark生态系统解析及基于Redis的开源分布式服务Codis
03-03
1月24日，一场基于Spark和Redis组成的分布式系统实践分享由Spark资深布道者陈超和豌豆荚资深系统架构师刘奇联手打造。在分享中，陈超首先简短的介绍了Spark社区在2014年的发展：目前Spark的发布版本是1.2，整个2014...
codis/redis 迁移redis cluster工具
08-18
在分布式系统中，Redis和Codis都是常见的缓存解决方案。然而，随着业务的发展，有时我们需要将数据从一个系统迁移到另一个系统，例如从Codis迁移到Redis Cluster，或者反之。为了解决这个问题，特定的迁移工具...
codis-3.2.2.zip
09-02
Codis是一款开源的、基于Go语言编写的分布式Redis解决方案，其主要目标是解决单个Redis实例在数据量和并发访问量上的瓶颈问题。在3.2.2这个版本中，Codis提供了稳定性和性能上的优化，使得它成为大规模Redis集群的...
还在写普通的CRUD代码？缓存数据冷热分离、缓存击穿、缓存穿透、双写/读写不一致、服务器雪崩你了解吗？
最新发布
小杰不秃头的博客
06-29 567
你是否还在写普通的CRUD代码？是否还在苦恼如何提高自己的代码水平？今天，我们将深入探讨一些高级的缓存策略和数据一致性问题，通过实际案例和解决方案，帮助大家写出更加健壮和高效的代码。
基于 Codis 的冷热缓存优化，【设计思想解读开源框架】
m0_63174811的博客
03-22 947
本文从基础到高级再到实战，由浅入深，把MySQL讲的清清楚楚，明明白白，这应该是我目前为止看到过最好的有关MySQL的学习笔记了，我相信如果你把这份笔记认真看完后，无论是工作中碰到的问题还是被面试官问到的问题都能迎刃而解！，可以添加下面V无偿领取！（备注Java）**[外链图片转存中…(img-96EkSmBE-1711104058916)]
Codis 千万并发下调优
weixin_34159110的博客
01-30 1391
环境： 8台机器 32C 256G,redis 6主6从在同一台机器上，dashbaord也在redis00上。codis-proxy 开8C，每台机器开2个proxy。万M网络，CentosOS 6.5 内核2.6.32-431.el6.x86_64。 现象： sprak 70台机器 向codis写 开启pipline,不控制pipline大小...
codis缓存集群环境部署
独立开发者 | 跨境电商
09-20 414
CentOS中yum里没有Git,需要手动安装。 首先需要安装git的依赖包 yum install curl yum install curl-devel yum install zlib-devel yum install openssl-devel yum install perl yum install cpio yum install expat-devel yum i...
Codis proxy说明
霍城延的随笔
08-09 1371
# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # Codis-Proxy # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # ...
基于Codis的Redis分布式缓存实现
路漫漫，水迢迢
05-03 8692
Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有显著区别 , 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务。Codis不
关于redis的冷热数据分离
热门推荐
StoneNie的专栏
01-24 2万+
一、概述 当前KV数据库从存储介质可以分为两种模式，一种是以内存为主持久化为辅，如memcache（无持久化）、redis等；一种是以持久化为主内存为辅，如ssdb（基于leveldb/rocksdb存储引擎）。这两种模式代表了两种不同的选择策略和哲学，适应不同的业务场景。简单地说，以内存为主的模式侧重高性能，信奉“内存是新的硬盘”的哲学；以持久化为主的模式则侧重大容量，兼顾性能。   对于
内存管理笔记十一、CPU三级缓存、冷热页及自旋锁概念
邓博学习笔记
03-11 1336
内存管理笔记十一、CPU三级缓存、冷热页及自旋锁概念 引言：在上一篇笔记中，介绍了buddy 伙伴系统其适用于大内存的物理地址分配，在查阅相关资料的过程中，看到了冷热页，进而接触到CPU三级缓存和自旋锁的概念。这里仅对其概念做一个简单的记录。 一、CPU的三级缓存 1.1、缓存简介：   CPU缓存（Cache Memory）是位于CPU与内存之间的临时存储器，它的容量比内存小...
Codis使用理解
蜗牛^_^的博客
05-24 2576
参考：https://juejin.im/post/5c132b076fb9a04a08218eef https://blog.csdn.net/antony9118/article/category/7045910 http://www.cnblogs.com/EasonJim/p/7818004.html https://githu...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值