Redis源码-Set：Redis Set存储原理、Redis Set集合操作命令、Redis Set两种存储底层编码intset+hashtable、Redis Set应用场景

已于 2022-09-09 11:32:00 修改
阅读量953 收藏 2
点赞数 1
分类专栏： Redis 文章标签： redis 数据库 缓存
于 2022-08-20 11:53:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41929714/article/details/126410221
版权

Redis源码-Set：Redis Set存储原理、Redis Set集合操作命令、Redis Set两种存储底层编码intset+hashtable、Redis Set应用场景

Redis数据类型

Redis数据类型不等同与数据结构，数据结构是Redis该数据类型存储结构的存储原理，也是该数据类型的底层编码。

1.Set存储原理

请添加图片描述

Redis Set存储的是无序的字符串(String和Hash也是无序的，List和zset是有序的)，元素不能重复。
最大存储数量2^32-1(40亿左右元素数量)。

列表list、集合set、有序集合zset差异

数据结构是否允许重复元素是否有序有序实现方式
列表list是是索引下标
集合set否否-
有序集合zset否是分值score

2.1Redis-Set数据类型：操作命令

Set的命令都是前面+s开头的。

放入集合多个元素

# sadd key member [member ...]：放入集合多个元素，返回集合大小
127.0.0.1:6379> sadd myset aa bb cc dd
(integer) 4

查看集合元素内容

# smembers key：查看集合元素内容
127.0.0.1:6379> smembers myset
1) "dd"
2) "bb"
3) "aa"
4) "cc"

统计集合元素个数

# scard key
127.0.0.1:6379> scard myset
(integer) 4

随机获取集合的元素

# srandmember key [count]：随机获取集合的元素，count为随机获取的个数，默认1
127.0.0.1:6379> srandmember myset
"bb"
127.0.0.1:6379> srandmember myset 2
1) "bb"
2) "dd"

弹出集合的元素（无序的，因此是随机弹，也是删除）

# spop key [count]：弹出集合的元素（无序的，因此是随机弹，也是删除），count为随机获取的个数，默认1
127.0.0.1:6379> spop myset
"aa"
127.0.0.1:6379> spop myset 2
1) "cc"
2) "dd"

删除指定的元素

# srem key member [member ...]：多个元素空格隔开
# 返回删除成功的个数
127.0.0.1:6379> sadd myset aa bb jj kk ll
(integer) 5
127.0.0.1:6379> srem myset aa bb oo
(integer) 2

判断集合是否存在元素

#  sismember key member：判断集合是否存在元素，存在返回1，不存在返回0
127.0.0.1:6379> sismember myset jj
(integer) 1
127.0.0.1:6379> sismember myset 99
(integer) 0

2.2Redis-Set数据类型：集合操作命令(差集、并集、交集)

set1{a,b,c} set2{c,d,e}

获取差集：
sdiff set1 set2 {a,b,d,e}
获取交集：（intersection）
sinter set1 set2 {c}
获取并集：
sunion set1 set2 {a,b,c,d,e}

查看Redis内部的数据结构类型

当你插入Redis一个字符串数据时，会根据你插入的值，Redis再进行内部的数据转换。
可以先看本文目录：3.存储原理(底层编码)

可以用object encoding key名查看key的value再Redis的内部数据类型。

# 查看key在Redis的对内数据类型
127.0.0.1:6379> object encoding myset
"hashtable"

3.存储原理(底层编码)

Redis源码：Redis源码怎么查看入门、Redis外部数据结构到Redis内部数据结构查看源码顺序、Redis源码查看顺序

Redis Set两种底层编码类型：intset、hashtable

Redis Set类型的内部底层编码有两种：

根据存储内容的不同大小采取合适的编码，从而达到更好的效果

  1. intset，存储纯数字的情况下才会用到
  2. hashtable，OBJ_ENCODING_HT（哈希表，和Redis外层的Hash是一个）

Redis Set底层编码类型①：intset

intset编码只有存储纯数字的情况下才会用到

在这里插入图片描述

intset.h源码文件

intset.h源码文件在解压后的src目录下

typedef struct intset {
    uint32_t encoding;		// 编码类型 int_16t、int_32t、int_64t、
    uint32_t length;		// 长度 最大长度2^32 （40亿左右）
    int8_t contents[];		// 用来存储成员的动态数组
} intset;

Redis Set底层编码类型②：hashtable

首先需要搞明白Redis外层的Hash表是什么。
Redis中的Hash结构，在Redis中，所有的KV存储方式都是基于dict（外层Hash表，HashTable）这个结构去存存储的，那么如果value的编码类型也是hashtable，应该怎么存储，其实就是hashtable的嵌套结构。
不理解dict结构、外层Hash、dict、dictht、dictEntry可以去看：
Redis源码：Redis源码怎么查看、Redis源码查看顺序、Redis外部数据结构到Redis内部数据结构查看源码顺序、Redis KV存储方式都是基于dict

Redis的KV存储方式-dict、dictht、dictEntry关系图

在Redis中，所有的KV存储方式都是基于dict（外层Hash表，HashTable）这个结构去存储的。
外层的KV存储的HashTable（dict），结构如下
请添加图片描述

Redis 底层编码类型hashtable嵌套结构图

总体存储结构为：【dictEntry有序链表】→【放在dictEntry数组里面】→【dictEntry数组放在dictht(哈希表ht[0])里面】→【dictht又放在dict结构里面】
请添加图片描述

Hash的扩容

扩容怎么扩容的？
判断的条件：
扩容比例(源码dict.c中定义)：
在这里插入图片描述

static unsigned int dict_force_resize_ratio = 5;	/*
													dictEntry数组后面的dictEntry链表，
													所有节点的链表平均值超过一定程度(会计算dictEntry链表长度和dictEntry的长度的比例，这个值为5)，
													也就表示hash碰撞很严重，就会触发扩容。
													*/

dictEntry数组后面的dictEntry链表，所有节点的链表平均值超过一定程度(会计算dictEntry链表长度和dictEntry的长度的比例，源码中这个值为5)，也就表示hash碰撞很严重，就会触发扩容。

扩容的量级是原dictht的2的n次方，扩容之后，会把原表的数据重新分配到新表(rehash，重新计算hash)，然后用ht[0]标记为当前使用的是哪个表，清空原先的dictht来释放空间。

4.应用场景

  • 抽奖：spop myset
  • 唯一性记录：点赞、签到、打卡（用户记录）
  • 商品标签、用户画像（人口属性、信用属性、社交、爱好…）
  • 用户关注、推荐模型
  • 基于集合的商品类别筛选

唯一性记录：点赞、签到、打卡（用户记录）

即用被点赞的记录作为key，用户作为set 的value进行维护。商品标签也是同样的道理。

用key（zan:v1001）来维护这条记录的所有点赞用户
用户u0001的点赞了这个记录：sadd zan:v1001 u0001
用户u0001的取消点赞这个记录：srem zan:v1001 u0001
用户u0001是否点赞了这个记录：sismember zan:v1001 u0001
这个记录点赞的所有用户：smembers zan:v1001
这个记录总点赞数：scard zan:v1001

基于集合的商品类别筛选

在这里插入图片描述

搜一款手机筛选条件如下：品牌ROG、机身内存1TB、CPU型号骁龙8+ Gen 1
可以用Redis set来实现

# sadd key (brand:ROG) value 该品牌手机型号
sadd brand:ROG ROG5s ROG6 ROG6pro ROG2 ROG3
# sadd key (cpud的分类key：cpu:8+Gen1) value 手机型号
sadd cpu:8+Gen1 ROG6 ROG6pro
sadd cpu:888 ROG5
# sadd key (ram的分类key：ram:1TB) value 手机型号
sadd ram:1TB ROG6 ROG6pro

# 搜一款手机筛选条件如下：品牌ROG、机身内存1TB、CPU型号骁龙8+ Gen 1
sinter brand:ROG cpu:8+Gen1 ram:1TB

Redis各数据结构命令、源码分析、应用场景

Redis源码-String：Redis String命令、Redis String存储原理、Redis String三种编码类型、Redis字符串SDS源码解析、Redis String应用场景

Redis源码-Hash：Redis String与Hash的区别、Redis Hash存储原理、Redis Hash命令、 Redis Hash存储底层编码、Redis Hash应用场景

Redis源码-List：Redis List存储原理、Redis List命令、 Redis List存储底层编码quicklist、Redis List应用场景

Redis源码-Set：Redis Set存储原理、Redis Set集合操作命令、Redis Set两种存储底层编码intset+hashtable、Redis Set应用场景

Redis源码-ZSet：Redis ZSet存储原理、Redis ZSet命令、 Redis ZSet两种存储底层编码ziplist/dict+skiplist、Redis ZSet应用场景

郝开
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【redis前传】为什么set底层hashtable+intset两种数据结构 | 超出长度升级解决
瑾的日常
07-21 478
redis的整数集是什么？当我们想set集合中添加整数时内部又是什么结构？整数集默认是多少范围？超出了范围的数据是如何存储的？删除最长元素后会不会发生降级的变化？ 今天，我们就来对整数集一探究竟 为什么整数集升级后不能在进行降级操作 | intset位升级频率 前言 整数集合相信有的同学没有听说过，因为redis对外提供的只有封装的五大对象！而我们本系列主旨是学习redis内部结构。内部结构是redis五大结构重要支撑！ 前面我们分别从redis内部结构分析了redis的List...
redis set类型的编码结构
wqs15192095633的专栏
01-08 161
两种结构：IntSet和hashTable， (1) IntSet：intset 有三种编码，int16、int32、int64 值是数字，编码是从小到大的，查找复杂度是O(N)， 查找方法是2分查找， 所以有性能问题，数量小于512或者值并且值小于2的64次方 的时候用 IntSet (2)hashTable查找复杂度是O(1)， ...
Redis数据结构和内部编码--集合(Set)
sunhuiliang85的专栏
07-03 1668
Redis数据结构和内部编码--集合(Set) 一.概念 集合也是用来存储多个字符串元素，但和列表示有区别的，集合中的元素是无序且无重复的，不能用下标来获取元素。在Redis中，一个集合最多可以存储2^32个元素，除了支持对集合的增删改查外，还支持对多个集合取交集、并集、差集。 二. 命令 2.1 添加元素 命令：sadd key value[value2…],返回添加成功的元素个...
redis集合（set）类型的内部编码
a13826548428的博客
06-21 190
列表（list）类型的两种内部编码 ziplist(压缩列表) linkedlist(链表) 当创建哈希类型时，如果列表的元素个数小于512个，同时每个元素的值小于64字节时 ，采用ziplist为内部编码保存，如果元素和元素值不满足ziplist内部编码条件，则采用linkedlist内部编码保存 ———————————————— 版权声明：本文为CSDN博主「科技发烧爱好者-羊工」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://...
redis源码分析——set
JnX的专栏
06-25 371
redis源码分析——setset是什么数据结构intset数据结构插入元素删除元素查找元素dict数据结构插入元素删除元素查找元素未完待续 set是什么 set是string类型的无序集合，不能出现重复的数据。 数据结构 typedef struct redisObject { unsigned type:4; unsigned encoding:4; unsigned ...
Java实现Redis的集合(set)命令操作
08-18
Java实现Redis的集合(set)命令操作 Java实现Redis的集合(set)命令操作是指在Java语言中使用Redis客户端来操作Redis数据库中的集合类型数据结构。Redis是当前使用最广泛的NoSQL数据库之一，集合类型是Redis中的一种...
Miraclelucy#redis-project#redis05-set集合的操作命令1
07-25
基础操作增加元素sadd key value1 value2删除元素删除集合中key中1个随机元素并返回随机返回一个元素判断value是否在key集合中返回集合
redis数据结构之intset的实例详解
12-16
 在redis中，intset主要用于保存整数值，由于其底层是使用数组来保存数据的，因而当对集合进行数据添加时需要对集合进行扩容和迁移操作，因而也只有在数据量不大时redis才使用该数据结构来保存整数集合。...
Redis Set 集合的实例详解
09-09
主要介绍了 Redis Set 集合的实例详解的相关资料,Redis的Set是string类型的无序集合。集合成员是唯一的，并且不重复，需要的朋友可以参考下
redis学习笔记-set原理
万彬学习的博客
03-21 1653
set 基本使用 Redis 的 Set 是 String 类型的无序集合。集合成员是唯一的，这就意味着集合中不能出现重复的数据。 集合对象的编码可以是 intset 或者 hashtable。如果是 intset 那么它是 经过升序排序的。 序号 命令及描述 1 SADD key member1 [member2] 向集合添加一个或多个成员 2 SCARD key获取集合的成员数 3 SDIFF key1 [key2]返回第一个集合与其他集合之间的差异。 4
Redis之Set数据结构底层原理
chongfa2008的博客
07-15 1332
Set对象编码可以是 intset 或者 hashtable 1：intset intset 编码的集合对象使用整数集合作为底层实现， 集合对象包含的所有元素都被保存在整数集合里面。  举个例子， 以下代码将创建一个intset 编码集合对象： inset 编码的numbers集合对象 2：hashtable hashtable 编码的集合对象使用字典作为底层实现，字典的每个键都是一个字符串对象， 每个字符串对象包含了一个集合元素， 而字典的值则全部被设置为 NULL。 ...
Redis 源码解析（3）Hash
qq_51232471的博客
10-26 276
Redis 源码解析（3）Hash
十.Redis中那些你不知道的秘密-五大基本结构set的实现原理
墨家巨子@俏如来
03-09 1757
前言 Redis中的set和java中的set集合有相似之处，它的元素不会按照插入的向后顺序而存储，且元素是不允许重复的。set内部使用到了intset(整数集合)和hashtable(哈希表)两种方式来存储元素，如果set存储的元素是整数，且当元素个数小于512个会选择intset存储，目的是减少内存空间，有两种情况会发变化，就是当存储的元素个数达到512(通过set-max-intset-entries 配置)或者添加了非整数值时如：‘b’，会选择hashtable作为存储结构。 整数集合intset
Redis源码解析--从set hello world学起
qq_18447271的博客
06-19 275
​ 之前理解Redis都是停留在八股文(自己也整理了不少)的认知，开这个系列还是希望自己能对Redis有更深的理解。并且矫正之前八股文中，认知有偏差的信息。本篇Redis中持久化，集群、lua脚本、订阅发布、事务等先不做分析。先从服务端的角度全局分析如何实现。主要还是对 Redis 网络模型进行分析，因此会分为这几个部分：注册事件、建立连接、接收请求、解析请求、 执行请求、响应请求等。
七redis的set数据类型常见命令、内部编码、场景
勿在浮沙筑高台
04-17 586
七redis的set数据类型常见命令、内部编码、场景 保存多个不重复的字符串的集合。 常见命令 sadd 解释 往集合中添加元素，如果值已经存在，则忽略。如果键不存在，则创建键后往键里添加元素。 用法 sadd key value 示例 127.0.0.1:6379> sadd key1 1 (integer) 1 127.0.0.1:6379> sadd key2...
redis 的数据结构和内部编码
翻身咸鱼的博客
06-12 945
首先，从网上找来一张图片镇楼redis对外展现五种数据类型，string（字符串），hash（哈希）、list（列表）、set（集合）、zset（有序集合）。每种数据结构，redis都提供了不同的内部编码实现方式，以便使用不同的场景 1、string1）...
Redis数据类型及编码
热门推荐
物是人非，结局始终不美
04-28 1万+
Redis五大数据类型 （一）String 字符串 string是redis最基本的类型，一个key对应一个value。string类型是二进制安全的，意思是redis的string可以包含任何数据，比如图片或者序列化的对象 。string类型是redis最基本的数据类型，一个键最大能存储512MB的数据。String 数据结构是简单的 key-value 类型，value 不仅可以是 Strin...
Redis-整数集合intset
xiancaione的专栏
11-29 326
整数集合使用场景 整数集合（intset）是集合键的底层实现之一： 当一个集合只包含整数值元素， 并且这个集合的元素数量不多时， Redis 就会使用整数集合作为集合键的底层实现。 整数集合（intset）是 Redis 用于保存整数值的集合抽象数据结构， 它可以保存类型为 int16_t 、 int32_t 或者 int64_t 的整数值， 并且保证集合中不会出现重复元素。 整数集合的结构 //...
Redis常用API的理解和使用，单线程命令处理机制，string（字符串）、hash（哈希）、list（列表）、set（集合）、zset（有序集合）5种数据结构的特点、命令使用、应用场景
一个学习Java开发的老头
09-04 726
1）Redis提供5种数据结构，每种数据结构都有多种内部编码实 现。2）纯内存存储、IO多路复用技术、单线程架构是造就Redis高性能 的三个因素。3）由于Redis的单线程架构，所以需要每个命令能被快速执行完， 否则会存在阻塞Redis的可能，理解Redis单线程命令处理机制是开发和 运维Redis的核心之一。4）批量操作（例如mget、mset、hmset等）能够有效提高命令执行 的效率，但要注意每次批量操作的个数和字节数。
明明有redis-cli却bash: redis-cli：未找到命令
最新发布
09-12
您可能遇到了环境变量的问题，导致无法直接使用redis-cli命令。一个解决办法是使用redis-cli的全路径来执行命令。您可以按照以下步骤来解决这个问题： 1. 首先，您需要找到redis-cli所在的目录。您可以通过运行以下命令来查找redis-cli所在的目录： ``` ps aux | grep redis ``` 这会显示redis相关的进程信息，其中可能包含了redis-cli所在的目录路径。 2. 在显示的结果中找到redis-cli的路径。通常情况下，redis-cli的路径类似于：/xxx/redis/bin/redis-cli。 3. 使用完整路径运行redis-cli命令。将上一步中找到的完整路径替换成XXX，然后运行以下命令： ``` /XXX/redis/bin/redis-cli ``` 这样就可以使用redis-cli命令了。 这样，您就可以通过使用redis-cli的完整路径来执行命令，解决了bash: redis-cli: 未找到命令的问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值