Redis原理以及底层数据结构初探

最新推荐文章于 2024-03-07 22:04:13 发布
最新推荐文章于 2024-03-07 22:04:13 发布
阅读量215 收藏
点赞数
分类专栏： redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37841366/article/details/111604178
版权

什么是Redis?

  • 非关系型的键值对数据库，可以根据键以O(1)的时间复杂度取出或插入关联值
  • Redis的数据是存在内存中的
  • 键值对中键的类型可以是字符串，整型，浮点型等，且键是唯一的
  • 键值对中的值类型可以是sting, list, hash, set sorted set
  • Redis内置了复制，持久化，LUA脚本，事务， SSL, ACLS， 客户端缓存，客户端代理等功能。
  • 通过Redis哨兵和Redis Cluster模式提供高可用性。

存储海量数据结构

1. 链表， B+树，数组16个

数据库

object encoding some_int：可以查看redis底层数据结构。为int

raw string embstr（底层数据结构）

redis柔性策略设计原理

根据数据结构的长度来决定数据的范围。

String类型

 

sdshdr5

sdshdr8

sdshdr16

sdshdr32

sdshdr64

typedef char *sds
 struct_attribute_((__package)) sdshdr8{
 	uint8_t len;
 	uint8_alloc;
 	unsigned char flags;
 	char buff[];
 }

1 byte + 1byte + 1 byte + 1byte 

static inline char sdsReqType(size_t string_size){

if(string_size < 32)

    return SDS_TYPE_5

if(string_size<0xff) 2^8-1

    return SDS_TYPE_8

if(string_size<0xfff) 2^16-1

    return SDS_TYPE_16

if(string_size<0xffff) 2^32-1

    return SDS_TYPE_64

}

CPU缓存行通常是64个byte

 

String应用场景

（1） 单值缓存

set key value 

get key

（2）对象缓存

set user1: value(json格式数据)

mset user:1:name zhuge user:1:balance 1888

mget user1:name user:1:banlance

（3）分布式锁

setnx product:10001 true//返回1代表获取锁成功

setnx product: 10001 false//返回0代表获取锁失败

。。。执行业务操作

del product:10001 执行完业务释放锁

setnx product: 10001 true ex 10 nx//防止程序意外终止导致死锁

 

setnx key value

将key的值设为value,当且仅当key不存在

若给定的key以及存在，则setnx不做任何动作

（4） 计数器

incr article:readcount:{文章id}

get article:readcount:{文章id}

Web集群部署session共享

spring session + redis实现session共享

 

(5) 分布式系统全局序列号

incrby orderId 100（分库分表之后）redis批量生成序列号提升性能，以前生成100000条数据需要交互100000次，现在只需要交互1000次

Hash应用场景

双重map

对象缓存

idnamebalance
1aa100
2bb200

HMSET user {userId}:name aa {userId}:balance 100

HMSET user 1:name aa 1:balance 100

HMSET user 2:name aa 2:balance 100

HMGET user 1:name 1:balance

 

在实际应用场景中，不可能把整张表的数据都丢入内存，一般都是缓存一些热点数据。redis是一个单线程操作

优点:

  • 同类数据归类整合存储，方便数据管理。
  • 相比string操作消耗内存与cpu更小。
  • 相比string存储更节省空间。

缺点

  • 过期功能不能是使用在field上，只能用在key上。
  • Redis集群架构下不适合大规模使用。

List应用场景

LRANGE key start stop:拿取一个区间范围内的元素 

正数索引0123
负数索引-4-3-2-1

常用数据结构

Stack(栈) LPUSH+LPOP

Queue(队列): L:PUSH + RPOP

Blocking MQ(阻塞队列) = LPUSH + BRPOP(相当于实现了一个监听，如果队列为空，则不取数据，只有里面存放了数据之后才能从里面获取数据)

微博和微信公众号消息流

 如何实现超级大V?

Set应用场景

微信抽奖小程序

1) 点击参与抽奖加入集合

SADD key {userID}

2) 查看参与抽奖所有用户

SMEMBERS key

3)抽取COUNT名中奖者

SRANDMEMBER key [count] / SPOP key [count]

微信微博点赞，收藏，标签

1) 点赞

SADD like:{消息ID} {用户ID}

2）取消点赞

SREM like:{消息ID} {用户ID}

3) 检查用户是否点过赞

SISMEMBER like:{消息ID} {用户ID}

4) 获取点赞的用户列表

SMEMBERS like:{消息ID}

5) 获取点赞用户数

SCARD like:{消息ID}

集合操作实现微博微信关注模型

  • SINTER set1 set2 set3:交集
  • SUNION set1 set2 set3：并集
  • SDIFF set1 set2 set3：以第一个集合为基准，再删除后面两个集合的并集中所包含的元素。

关注模型

微关系

 

redis底层设计原理之String类型 

 简单动态字符串

成倍的扩容，

原本len = 6

(len + addLen) * 2 = 18:

SDS:

  free:9

  len:9

  char buf[] = "guojia123"

  • 1. 二进制安全的数据结构
  • 2. 内存预分配机制，避免了繁琐的内存分配
  • 3. 兼容C语言函数库

不是一直都会成倍的扩容，而是如果超过了1M  就不会再成倍的库容了。下次再分配只会再多分配1M的空间。

sdshdr5

前3个比特用来表示类型，后5个bit用来表示buffer的长度。

  • #define SDS_TYPE_5 0
  • #define SDS_TYPE_8 1
  • #define SDS_TYPE_16 2
  • #define SDS_TYPE_32 3
  • #define SDS_TYPE_64 4

sdshdr8

 sdshdr16

redis kv底层设计原理

k-v:数据库: 海量数据的存储

数组 ： O（1）

链表:O(N)

hash(key)  ->自然数[大]

hash冲突采用的是头插法

字典的底层实现

 数组成倍地扩容，不是直接从旧数组全部迁移到新数组，而是当旧的里面的key值访问过了以后才会迁移。每次事件轮询的时候都会搬几个key.

BitMap

周活跃用户:  按位或

连续登录： 按位与

BItMap的使用注意事项

如何扩容? (addLen + len) * 2表示的是成倍地扩容

如果userId非常大，如何设置offset?

List的数据结构

List是一个有序(按加入的时间排序)的数据结构，Redis采用quciklist(双端链表)和ziplist作为List的底层实现。

 

可以通过设置每个ziplist的最大容量，quciklist的数据压缩范围，提升数据存储效率

 

ziplist是个非常紧凑的数据结构。

之后如果有修改的话，改的都是非常小的ziplist

list-max-ziplist-size -2

list-compress-depth 0 :表示多少个不进行压缩。

Hash的数据结构

Hash数据结构底层实现为一个字典(dict),也是RedisDB用来存储K-V的数据结构，当数据量比较小，或者单个元素比较小时，底层用ziplist存储，数据大小和元素数量阈值可以通过如下参数设置。

Set的数据结构

Set为无序的，自动去重的集合数据结构，Set数据结构底层实现为一个value为null的字典(dict),当数据可以用整型表示时，Set集合将被被编码为intset数据结构。两个条件任意满足时，Set将用hashtabel存储结构1. 元素个数大于set-max-inset-entries 2.元素无法用整型表示。

redis跳表

 每一层最多找两次

index: 1: n /2

index: 2: n/2^2

index: 3: n /2^3

index: K: n/2^k

n/2^k = 2

2^k = n / 2

k = log2 (n-1) 层数

k = 2 * log 2 n （每层最多查询两次) -> logN（和折半查找的时间复杂度是一样的）

 

优点:

  • 1. 性能最大化，fork子进程来完成写操作，让主进程继续处理命令。使用单独子进程来进行持久化，保证了redis的高性能。
  • 2. 当重启恢复数据库的时候，数据量比较大时，Redis直接解析RDB二进制文件，生成对应的数据存储在内存中，比AOF的启动效率更高。

 

 

 利用到了调和平均数

根据最后连续为0的个数来估算n的值？

 

 

 

 

HCH996
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
redis底层数据模型与数据结构
08-12
### Redis 底层数据模型与数据结构解析 #### 一、`redisObject` 结构解析 Redis 中存储数据的基本单元是 `redisObject` 结构，它定义了 Redis 对象的各种属性，包括类型、编码方式、LRU/LFU 计算等。 **1.1 `...
Redis之BitMap
weixin_42475906的博客
02-13 728
根据日期 offset = （今天是一年中的第几天） % （今年的天数），key = 年份：用户id。即节约空间效率又高，只需要一个 key，然后用户 id 为 offset，如果在线就设置为 1，不在线就设置为 0。在Redis中,可以吧bitMap当成一个以比特位为单位的数组,数组的每个元素只能存储0和1,数组的下标在bitMap中叫做偏移量。bitMap在Redis中不是一个新的数据类型,其底层是Redis string实现。能映射的状态有限,但是使用比特位的优势是能大量的节省内存空间。
Redis 底层数据存储结构
weixin_43844718的博客
09-04 1086
Redis的性能高的原因之一是它每种数据结构都是经过专门设计的，并都有一种或多种数据结构来支持，依赖这些灵活的数据结构，来提升读取和写入的性能，接下来一起了解一下它的数据存储原理。参考：Redis底层数据结构（图文详解）提示：以下是本篇文章正文内容，下面案例可供参考以上我根据源码和图片简单讲解了一下redis的5种数据类型的底层结构，还有一些对数据的修改操作没有讲到，想要具体了解就去看看源码。后面还会陆续补充一些内容。如：redis的rehash、渐进式hash。
Redis底层数据结构
m0_56111848的博客
04-25 1262
Redis数据结构 一、基本数据结构 常见数据结构：String（字符串）、List（列表）、Hash（哈希）、Set（集合）和 Sorted Set（有序集合） ​ String 类型的底层实现只有一种数据结构，也就是简单动态字符串。而 List、Hash、Set 和 Sorted Set 这四种数据类型，都有两种底层实现结构。通常情况下，我们会把这四种类型称为集合类型，它们的特点是一个键对应了一个集合的数据。 ​ 压缩列表和跳表我们平时接触得可能不多，但它们也是 Redis 重要的数据结构，需要重
redis：redis的底层数据结构
热门推荐
OceanStar的博客
01-11 1万+
一提到redis，我们就会想到“快"。那redis的快到底是快在哪里呢？实际上，这里有一个重要的表现：它接收到一个键值对操作后，能以微秒级别的速度找到数据，并快速完成操作。 为什么redis能有这么突出的表现呢？ 一方面，这是因为它是内存数据库，所有操作都在内存上完成，内存的访问速度本身就很快 另一方面，这要归功于它的数据结构。这是因为，键值对是按照一定的数据结构来组织的，操作键值对最终就是对数据结构进行增删改查操作，所以高效的数据结构是redis快速处理的基础。 redis中的数据结构有两种意思：
Redis 数据类型 与 底层数据结构
A tortoise running wild
04-16 195
数据类型与底层数据结构 Redis数据类型和应用场景 Redis 是一个 Key-Value 的存储系统，使用 ANSI C 语言编写。 Key 的类型是字符串。 Value 的数据类型常用的：string字符串类型、list列表类型、set集合类型、sortedset（zset）有序集合类型、hash类 型。不常见的：bitmap位图类型、geo地理位置类型。Redis5.0 新增一种：stream类型 注意：Redis中命令是忽略大小写，（set SET），key是不忽略大小写的 （NAME.
01-VIP-Redis核心数据结构与核心原理1
08-03
本篇文章主要探讨Redis的核心数据结构和核心原理，以及如何利用IO多路复用技术处理高并发连接。 Redis支持多种数据结构，包括： 1. 字符串(String)：最基础的类型，可以存储字符串、数字等。 2. 哈希(Hash)：用于...
redis面试题之数据结构.zip
04-18
了解和熟练掌握这些数据结构，对于理解Redis的工作原理和优化方案至关重要。在面试中，面试官可能会问及如何选择合适的数据结构来解决特定问题，或者如何利用数据结构特性来提高性能。例如，如果需要存储和查询用户...
Redis核心数据结构与高性能原理.zip
最新发布
05-24
本篇将深入探讨Redis中的主要数据结构以及如何利用这些数据结构实现高性能的原理。 1. 字符串（String）：Redis中最基础的数据结构，可以存储字符串、整数或浮点数。它使用SDS（Simple Dynamic String）结构，相比...
Redis之bitmap类型解读
一个菜鸡的博客
08-23 1107
Redis 的位图（bitmap）是由多个二进制位组成的数组，只有两种状态，0和1, 数组中的每个二进制位都有与之对应的偏移量（从 0 开始），通过这些偏移量可以对位图中指定的一个或多个二进制位进行操作。可以把 Bitmap 想象成一个以位为单位的数组，数组的每个单元只能存储 0 和 1，数组的下标在 Bitmap 中叫做偏移量 offset，bitmap默认值都为0.
Redis底层数据结构和原理
浮尘笔记
05-09 482
Redis 的基本对象结构 RedisObject，因为 Redis 键值对中的每一个值都是用 RedisObject 保存的。RedisObject 包括元数据和指针。其中元数据的一个功能就是用来区分不同的数据类型，指针用来指向具体的数据类型的值。RedisObject 的内部组成包括了 type,、encoding,、lru 和 refcount 4 个元数据，以及 1个*ptr指针。redis的底层数据结构一共有 6 种，分别是简单动态字符串、双向链表、压缩列表、哈希表、跳表和整数数组。
reids bitmap 底层 使用string 原理
vmaps的博客
03-07 217
Redis的Bitmap实际上并不是直接使用字符串（string）作为其底层数据结构。Bitmap是Redis提供的一种位图数据结构，它基于字符串实现，但使用了一种更高效的内存表示方法。需要注意的是，虽然Bitmap底层是基于字符串实现的，但Redis提供了专门的命令来操作Bitmap，使得用户无需关心其底层的实现细节。这些命令使得Bitmap的使用变得非常简单和直观。总之，Redis的Bitmap是一种基于字符串实现的高效位图数据结构，它利用位操作来提供高效的内存使用和灵活的操作方式。
分布式--redis基本数据结构及使用
wan_Szw的博客
11-02 279
redis常用5种数据结构 字符串常用操作 set key value //存入字符串键值对 get key //获取对应key的值 mset key value[key1 var2 key2 var2] //批量存储 mget key key1 key2 //批量获取对应的值 setnx key value //存入一个不存在的字符串键值对 已存在则不保存 不存在新增 del key [key1 key2] //删除一个或多个键 expire key seconds //设置一个建
Redis之底层数据结构
swimming_in_IT_的博客
03-27 1320
Redis底层数据结构有三层意思： 从Redis本身数据存储的结构层面来看，Redis数据结构是一个HashMap。 从使用者角度来看，Redis的数据结构是String，List，Hash，Set，Sorted Set。 从内部实现角度来看，Redis的数据结构是ict，sds，ziplist，quicklist，skiplist，intset。
Redis的底层数据结构
WorldMvp的专栏
02-22 609
一、Redis的数据结构简介 Redis的底层数据结构一共有6种，分别为：简单动态字符串（SDS）、链表、字典、跳跃表、整数集合、压缩列表。 Redis的数据类型一共有5种，分别为：字符串对象、列表对象、哈希对象、集合对象、有序集合对象。这五大数据类型（数据对象）都是由一种或几种数结构构成。 在命令行中，可以使用 OBJECT ENCODINGkey来查看key的数据结构。 二、简单动...
Redis 底层数据结构，史上最全。
程序员高级码农的博客
02-25 942
我们在前面讲过，长度大于 39 字节的字符串，编码类型为 raw，底层数据结构是简单动态字符串（SDS）。在 rehash 进行期间，每次对字典执行添加、删除、查找或者更新时，除了会执行相应的操作之外，还会顺带将 ht[0] 在 rehashidx 索引位上的所有键值对 rehash 到 ht[1] 中，rehash 完成之后，rehashidx 值加 1；字典是一种用于保存键值对的数据结构，Redis 的字典使用哈希表作为底层实现，一个哈希表里面可以有多个哈希表节点，每个哈希表节点保存的就是一个键值对。
redis中bitmap位图，底层结构剖析，清晰明了，布隆过滤器原理
zzztimes的博客
03-25 3491
bitmap的底层数据结构就是0/1bit 的二进制数值，最大长度512Mb = 512 * 1024 * 1024 * 8 = 2^32 。使用场景举例： 用户登录活跃值记录 打卡签到记录，key为用户唯一键，offset是由日期换算得出的数值，1为已打卡，0为未打卡 热点活动记录，key为热点时间，offset是每个用户唯一键例如（id=12385123），如果该用户参与了此次活动，则在12385123的bit位设为1 … 1.位图常用命令 SETBIT命令 用来设置或者清除某一位上的值，其返
Redis底层数据结构详解
程序员大航子
05-06 1万+
Redis底层数据结构详解 我们知道Redis常用的数据结构有五种，String、List、Hash、Set、ZSet，其他的集中数据结构基本上也是用这吴红实现的，那么，这五种是Redis提供给你的数据结构，这五种数据结构式怎么实现的，你知道么？底层的底层，你有了解过吗？ 这些是五种数据结构底层使用的数据结构，我们可以看到，有很多底层使用了两种数据结构，比如set在元素较少，且都是数字的情况下会使用整数列表，数据增加会变成哈希表。那么这些底层的数据结构，你又了解多少呢？ 这个问题我们先放一下，你有没有一个
redis数据结构底层原理
08-15
回答: Redis的数据结构底层原理可以从两个不同的层面来讨论。第一个层面是更高层的数据结构，Redis通过组合各种基础数据结构来实现这些更高层的结构。比如，Redis使用字典（dict）来维护数据库的映射关系，使用动态字符串（sds）来表示键（key），使用redisObject（robj）来表示值（value）。这种组合可以实现不同类型的数据存储和高效的读写性能。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [Redis的数据结构及底层原理](https://blog.csdn.net/xukaiqiang123/article/details/127449262)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [Redis的五种数据结构的底层实现原理](https://blog.csdn.net/a745233700/article/details/113449889)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值