（十一）redis分而治之Codis

于 2020-11-10 22:36:55 发布
阅读量1.5k 收藏 2
点赞数 1
分类专栏： redis深度历险 文章标签： redis 缓存 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lss446937072/article/details/109609010
版权

大数据高并发情况下单个redis的实现汪汪捉襟见肘。单个redis的内存不宜过大，内存过大导致rdb文件过大，主从同步时全量同步时间很长等等

这个时候redis集群方案应运而生。他可以将总舵小内存的redis实例综合起来，完成海量数据存储和高并发读写操作

codis是redis集群方案之一。是前豌豆荚中间件团队开源，项目带头人刘奇又开发出中国人自己的开源分布式数据库TiDB

从Redis的广泛流行到RedisCluster广泛使用中间隔了好多年，Codis就是在这种机遇下发展起来的

codis是GO语言开发，是指一个转发代理中间件。因为单个Coids代理能支撑的QPS有限，通过启动多个Codis可以显著增加整体QPS需求。还能容灾。

分片原理

codis默认划分1024个槽位（slot），将客户端传来的key进行crc32运算得到哈希值然后对1024取余数，就是key对应的槽位

多个codis想要进行槽位信息的同步只能通过分布式配置存储数据库来完成就需要用到ZooKeeper。后来也支持了etcd

进京务工小卢
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
分治策略
chenmingteng的博客
04-11 1171
分治策略 分治策略在每层递归中主要运用到下面三个步骤： - 分解步骤将问题划分成一些子问题，子问题的形式与原问题一样，只是规模更小。 - 解决步骤递归地求解出子问题，如果子问题足够小，则停止递归，直接求解。 - 合并步骤将子问题的解合成原问题的解 1.求最大子数组问题 问题描述：即在数组中选择一个区间，使得这个区间元素的和最大（当然如果数组的元素全是正数或全是负数，那么这个问题没有任何...
Caffeine+redis 实现二级缓存
以爱护甲,爱满枫林。
08-21 2931
一：目录结构 二：分而治之 redis和caffeine有各自的bean目录 自定义实现的bean（xxxxCache,Manager,Configuration,CacheResolve）等可以放在这里 redis和caffeine有各自的配置目录，分开配置自己的bean，序列化等 分而治之，回归一统：单独配置好Redis,单独配置好Caffeine,最后交给合并缓存（CaffeineRedis）进行数据操作 三：application.yml配置文件 spring: #自定义管理缓存 custom
【Redis核心原理和应用实践】集群 2：分而治之 —— Codis
通往神秘的道路的专栏
12-29 190
在大数据高并发场景下，单个 Redis 实例往往会显得捉襟见肘。首先体现在内存上，单个 Redis 的内存不宜过大，内存太大会导致 rdb 文件过大，进一步导致主从同步时全量同步时间过长，在实例重启恢复时也会消耗很长的数据加载时间，特别是在云环境下，单个实例内存往往都是受限的。其次体现在 CPU 的利用率上，单个 Redis 实例只能利用单个核心，这单个核心要完成海量数据的存取和管理工作压力会非常...
Redis 深度历险： 核心原理和应用实践3
ashylya的博客
03-10 553
Sentinel 基本使用集群 1：李代桃僵 —— Sentinel 目前我们讲的 Redis 还只是主从方案，最终一致性。读者们可思考过，如果主节点凌晨 3 点突发宕机怎么办？就坐等运维从床上爬起来，然后手工进行从主切换，再通知所有的程 序把地址统统改一遍重新上线么？毫无疑问，这样的人工运维效率太低，事故发生时估计得 至少 1 个小时才能缓过来。如果是一个大型公司，这样的事故足以上新闻了...
算法分析与设计-分治算法
anchengshe9751的博客
04-03 2647
在计算机科学中，分治法是一种很重要的算法。字面上的解释是“分而治之”，就是把一个复杂的问题分成两个或更多的相同或相似的子问题，再把子问题分成更小的子问题……直到最后子问题可以简单的直接求解，原问题的解即子问题的解的合并。这个技巧是很多高效算法的基础，如排序算法(快速排序，归并排序)，傅立叶变换(快速傅立叶变换)…… 任何一个可以用计算机求解的问题所需的计算时间都与其规模有关。问题的...
redis-codis集群
07-10
Redis-Codis是一个在中国互联网行业中广泛应用的分布式Redis解决方案。它主要解决了单个Redis实例在处理大规模数据和高并发请求时的性能瓶颈问题。通过Codis，你可以将多个Redis实例组合成一个逻辑上的集群，实现...
codis/redis 迁移redis cluster工具
08-18
《Redis与Codis之间的迁移工具详解》 在分布式系统中，Redis和Codis都是常见的缓存解决方案。然而，随着业务的发展，有时我们需要将数据从一个系统迁移到另一个系统，例如从Codis迁移到Redis Cluster，或者反之。...
Codis分布式Redis解决方案-其他
06-12
Codis是一个分布式Redis解决方案，对于上层的应用来说，连接到CodisProxy和连接原生的RedisServer没有明显的区别(不支持的命令列表)，上层应用可以像使用单机的Redis一样使用，Codis底层会处理请求的转发，不停机的...
细细品味架构·分布式Redis解决方案Codis（第9期）
10-29
1.2.3 Codis 的使用经验 1.2.4 分布式数据库和架构 1.2.5 现场答疑（Q&A） 2、知识扩展 2.1 CAP 理论简介 2.1.1 CAP 的历史 2.1.2 CAP 被上升为定理 2.1.3 前所未有的质疑 2.1.4 对质疑的回应 2.1.5 该如何看待...
codis-3.2.2.zip
09-02
《分布式Redis框架Codis 3.2.2详解》 Codis是一款开源的、基于Go语言编写的分布式Redis解决方案，其主要目标是解决单个Redis实例在数据量和并发访问量上的瓶颈问题。在3.2.2这个版本中，Codis提供了稳定性和性能上...
秒懂Redis集群设计原理
Felix_阳的博客
08-03 294
Redis集群设计包括2部分：哈希Slot和节点主从，本篇博文通过3张图来搞明白Redis的集群设计。   节点主从： 主从设计不算什么新鲜玩意，在数据库中我们也经常用主从来做读写分离，直接上图：   图上能看得到的信息： 1， 只有1个Master，可以有N个slaver，而且Slaver也可以有自己的Slaver，由于这种主从的关系决定他们是在配置阶段就要指定他们的上下级关系，...
Redis详解（1）--原理和机制
热门推荐
黄规速博客:学如逆水行舟，不进则退
06-03 2万+
一、性能 1 性能测试 测试环境： RHEL 6.3 / HP Gen8 Server/ 2 * Intel Xeon 2.00GHz(6 core) / 64G DDR3 memory / 300G RAID-1 SATA / 1 master(writ AOF), 1 slave(write AOF & RDB) 数据准备： 预加载两千万条数据，占用10G内存。 测试工具：自...
Redis总结一（听说，Redis只能做缓存？）
qq_40530040的博客
09-26 1386
Redis总结一： 引言：(Redis只能做缓存？我震惊了) 1.为什么要使用redis? 在我们最初存放数据之前，都是去用文件存储，然后当数据库慢慢开始去使用数据比如常用Mysql、orcal等。像这些数据库都是磁盘数据库。其实数据从之前文件方式存储到数据库存储中间也经历了一系类的演变。因为某一个技术的出现，一定是开发人员无法解决新问题的产生。那么文件存储到底带来了哪些缺陷和不足呢。 常识：文件通常可以存放在两个地方，硬盘里和内存中。当数据存放在硬盘中时会有两个指标去衡量读取效率。 秒==>毫秒==
Redis——集群分区（一致性哈希算法/预分区/Cluster/Twemproxy/Predis）
qq_42583242的博客
10-03 1340
文章目录一、数据分治1、Client 端处理1、逻辑拆分2、hash 算法3、一致性哈希算法2、Server端处理1、代理——Proxy2、负载均衡二、预分区三、官方Redis分区介绍1、分区概念2、为什么分区非常有用？3、不同的分区实现方案4、持久化数据还是缓存？5、预分片四、Redis分区实现1、Redis Cluster集群分区2、代理分区——Twemproxy3、支持一致性哈希的客户端——Predis（重要） 在上一篇文章中我们通过主从复制可以人为的搭建集群，也可以通过 Sentinel 管理多台
Redis系列--性能优化（三）
谈少华的博客
01-25 5748
尽管Redis是一个非常快速的内存数据存储媒介，也并不代表Redis不会产生性能问题。之前提到过，Redis采用单线程模型，所有的命令都是由一个线程串行执行的，所以当某个命令执行耗时较长时，会拖慢其后的所有命令，这使得Redis对每个任务的执行效率更加敏感。 针对Redis的性能优化，主要从下面几个层面入手： 最初的也是最重要的，确保没有让Redis执行耗时长的命令 使用pipelining...
redis深入研究
thatkrisyang
05-04 460
Redis 设计思路学习与总结 https://cloud.tencent.com/developer/article/1004464 Redis 设计思路学习与总结 下半年利用空余时间研究和分析了部分Redis源码，本文从网络模型、数据结构和内存管理、持久化和多机协作四个角度对redis的设计思路进行了分析，若有不正确之处，希望各路大神指出。 Redis是业界普遍应用的缓存组件，研究一个...
海量数据处理---分而治之
qisefengzheng的专栏 总有一天你将破蛹而出
05-26 772
方法介绍 对于海量数据而言，由于无法一次性装进内存处理，导致我们不得不把海量的数据通过hash映射分割成相应的小块数据，然后再针对各个小块数据通过hash_map进行统计或其它操作。 那什么是hash映射呢？简单来说，就是为了便于计算机在有限的内存中处理big数据，我们通过一种映射散列的方式让数据均匀分布在对应的内存位置(如大数据通过取余的方式映射成小数存放在内存中，或大文件映射成多个
Redis之字典(hashtable)
一个菜鸟的博客
06-07 8788
1、介绍 字典采用hashtable实现，碰撞采用拉链法，也就是通过链表联结key的hash值相同的节点。看过STL内部hash实现，这个就很容易，重新造了个轮子。套路，指针数组+多条链表。 2、实现 以下4个结构体是Redis的Hashtable实现的基础。 typedef struct dictEntry {//hash节点 void *key;//键 union ...
使用Redis分区将数据分割到多个Redis实例
weixin_34162695的博客
03-21 362
分区是将所有的数据分割到多个Redis实例的过程，所以每个Redis实例存放的是所有键值的子集。Redis分区主要有两个目标：1）允许使用多台计算机的内存来存放更大的数据。如果不做分区的话，单台计算机的内存又限制。2）使用多台计算的计算能力和网络带宽有许多不同的分区场景，假设有4个Redis实例R0，R1，R2，R3，有很多表示用户的键值比如user:1,user:2,use...
redis和codis区别
最新发布
05-18
Redis是一个基于内存的数据存储系统，其主要特点是快速、灵活、可持久化，具有多种数据结构和丰富的特性。它支持 key-value 存储，提供了多种操作数据的命令，并且可以通过持久化机制将数据保存到磁盘上。 Codis是一个分布式的Redis解决方案，它可以将多个Redis节点组合成一个集群，提供了高可用性和扩展性。Codis通过代理层实现了数据的分片和负载均衡，可以自动将数据分配到不同的节点上，从而实现了数据的高效存储和访问。 因此，Redis和Codis的主要区别在于： 1. Redis是一个单机存储系统，而Codis是一个分布式存储系统。 2. Codis通过代理层实现了数据的分片和负载均衡，而Redis没有这个功能。 3. Codis可以提供更高的可用性和扩展性，而Redis的可用性和扩展性相对较低。 4. Codis需要更多的配置和管理工作，而Redis相对来说比较简单。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值