Redis的Hash数据结构中100万对field和value，field是自增时如何优化？优化Hash结构。

已于 2024-04-22 10:03:17 修改
阅读量1.3w 收藏
点赞数 1
分类专栏： 数据库 文章标签： 哈希算法 redis 数据结构
于 2024-03-30 19:55:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_68135906/article/details/137180545
版权

ZipList使用是有条件的，当entry数据量太大时就会启用哈希结构，占用内存空间

1.设置bigkey的上限

在redis.config中设置

2.拆分为string类型

String底层结果没有太多优化，占用内存多

想要批量获取数据麻烦

3.拆分为小的hash

将id/100作为key，将id%100作为field，这样每100个元素为一个hash

避暑人
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Redis Hash
JunChow
03-21 323
什么是哈希 哈希hash又称为散列、杂凑等，是将任意长度的输入通过散列算法变换为固定长度的输出，最终输出也就是哈希值。这种转换是一种压缩映射。也就是说，散列值的空间通常要远小于输入控件，不同的输入可能会散列成相同的输出，所以不可能通过散列值来确定唯一的输入值。 哈希 什么是哈希表 哈希表hash table是为了将数据映射到数组中某个位置，通过数组下标访问元素以提高数据...
使用RedisTemplate批量存入数据，100万测试 需要1分钟
qq_40331861的博客
07-25 9218
参考文档 https://blog.csdn.net/xiaoliu598906167/article/details/82218525 https://blog.csdn.net/fouling/article/details/98631144 1需求 将mysql数据库中的上百万数据存入redis中存入的格式为hashMap的形式 即，（hash路径，key, obj）其中的obj为map 封装一条记录信息 并且这些数据在用的时候可以取得到。 难点，普通通过循环hset的方式比较慢，一万条数据需
面试题：如果redis数据库有百万数据，如何查询？
最新发布
ughbnbjkk的博客
06-13 210
在Redis中处理百万级别的数据查询时，效率和策略选择至关重要。Redis作为一个高性能的键值存储系统，提供了多种数据结构（如字符串、哈希、列表、集合、有序集合等）和操作命令，合理利用这些特性可以有效提升查询性能。
100 万请求同时从 Redis 取相同的 Key，如何优化(热点key的问题)
路辉的博客
03-24 2449
背景 其实这是一个很常见的场景 我们单台redis的承载是有上限的 业务场景中经常会有这种，比如热点商品抢购场景，热搜等，都会出现同时搜索同一个key的场景。 哪怕部署了集群，通过一致性hash之后，这些请求还是会打到一个机子上，因为是一个key。 如何发现热点数据 主要针对的是C端，B端的话一是不会有这么高的并发，二是也能够预测中哪些是热点key。 即便是C端，其实有些业务场景也是能够预测出热点key的，比如在做某些电商活动的时候，可以给一些热销商品做一个提前缓存。 某些无法预测的，只能实时去处理，比
redis学习笔记
轻描淡写
01-30 677
redis更加详细查询redis官方网站【https://www.redis.net.cn/order/3625.html】
Redis 基础（一） 之 Redis 简介
每天多学一点点. 的博客
11-27 683
Redis 基础 之 Redis 简介 1 Redis 简介 Redis是完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。 Redis与其他 key - value 缓存产品有以下三个特点： 1.Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。 2.Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set...
Redis各种数据结构内存占用测试
weixin_30851409的博客
12-22 185
启动时：（redis为空） 插入数据量都为100W（100W个key或者list中100W个值，或者1000个key，每个key中1000个值） String Key value # Memory used_memory:121763808 used_memory_human:116.12M used_memory_rss:124956672 used...
Redis hash数据存储空间优化
01-20
数据存储采用hash结构，将16亿行数据根据key离散到32万个hash中。 由于每一行的key是16个字节，数据为1个字节，一开始在预估存储空间为：16亿*(16+1) = 26 G 左右。于是部署了16个分片，每个分片10G的集群。但是实际...
01-VIP-Redis核心数据结构与核心原理1
08-03
Redis是一款高性能的键值存储系统，它以其丰富的数据结构、高效的数据操作以及强大的持久化机制在现代互联网架构中扮演着重要角色。本篇文章主要探讨Redis的核心数据结构和核心原理，以及如何利用IO多路复用技术处理...
redis中的数据结构和编码详解
12-14
redis中的数据结构和编码：  背景： 1>redis在内部使用redisObject结构体来定义存储的值对象。 2>每种类型都有至少两种内部编码，Redis会根据当前值的类型和长度来决定使用哪种编码实现。 3>编码类型转换在Redis...
Redis之基本数据结构
01-20
文章目录Redis可以做什么Redis5种基本数据对象String字符串redis是动态字符串，最大512M，小于1M时加倍现有空间，大于1M时加倍1M的空间批量对多个字符串读写，节省网络耗时设置key的过期时间-涉及到过期策略计数功能...
php操作redis中的hash和zset类型数据的方法和代码例子
10-25
在Redis中，Hash和ZSet（有序集合）是两种重要的数据结构，它们提供了丰富的操作来管理和操作数据。以下是关于PHP操作Redis Hash和ZSet类型数据的一些详细知识点，以及相关的函数和代码示例。 1. **Hash**: Hash...
redis
奋斗的青年
03-22 1950
redis是一款基于c语言的key-value数据库，支持发布订阅模式，可以用来做缓存，还可以做消息队列，分布式锁等等 redis支持5种数据结构string，list，set，zset，hash 1.string使用简单动态字符串，不使用C语言的数组,可以保存二进制数据，C语言只能保存文本，获取字符串长度复杂度为O(1),C语言为O(N)，C语言不保存长度，需要遍历。安全的api，能避免缓冲区溢出内存泄漏问题。常用命令set,get,strlen(字符串长度),exists,decr,incr,set
Redis问题总结
private_11的博客
06-28 524
问题汇总 1.Redis的使用场景有哪些? ​ (1)缓存:合理缓存数据,降低数据库的压力.(2).排行榜:Redis提供的有序集合数据类构能实现各种复杂的排行榜应用.(3)计数器:Redis提供的incr命令来实现计数器功能,内存操作,性能非常好.(4)分布式会话:以Redis等内存数据库为中心的session服务,session不再由容器管理,而是由session服务及内存数据库管理.(5)分布式锁:可以利用Redis的setnx功能来编写分布式的锁,如果设置返回1说明获取锁成功,否则获取锁失败. 2.
【Redis】大数据量（百亿级）Key存储需求及解决方案
热门推荐
十一月的肖邦
04-07 4万+
原文链接：http://www.cnblogs.com/colorfulkoala/p/5783556.html 问题导读： 1. 需求背景是什么？ 2. 存储何种数据？ 3. 数据特点是什么？ 4. 存在哪些技术挑战？ 5. 解决方案有哪些？ 6. md5散列桶的方法需要注意哪些问题？ 7. 测试结果是什么？ 解决方案： 1 需求背景 该应用场景为 DMP（Data...
Redis容量及使用规划（转）
qingqiong的专栏
07-12 2405
Wednesday, Jan 5th, 2011 by Tim | Tags: memcache, memcached, mysql, redis在使用Redis过程中，我们发现了不少Redis不同于Memcached，也不同于MySQL的特征。(本文主要讨论Redis未启用
redis的string类型和hash类型小数据类型大批量数据占用内存验证
y41992910的博客
06-30 408
结论,小数据类型的大批量数据,不适合用string类型存储. 元数据空间占用了太多内存. 1万个数据 string的加了1万个 127.0.0.1:6379> info memory # Memory used_memory:1767568 used_memory_human:1.69M hash加了1万个 127.0.0.1:6379> info memory # Memory used_memory:1013984 used_memory_human:990.22K 100万个 s
给Redis hash数据结构的某个field设置过期时间
06-09
在Redis中，哈希表的键和域都可以设置过期时间，但是哈希表中的每个域只能设置一个相同的过期时间。可以使用Redis的HSET和EXPIRE命令来为哈希表中的某个域设置过期时间。具体操作如下： 1. 首先使用HSET命令向哈希表中添加数据。 2. 然后使用HSET和EXPIRE命令结合使用，为哈希表中的某个域设置过期时间，该命令的语法如下： ``` HSET key field value EXPIRE key seconds ``` 其中，key是要设置过期时间的哈希表的键名，field是要设置过期时间的哈希表域名，value是哈希表域的值，seconds是过期时间，以秒为单位。 例如，如果要为键名为myhash的哈希表中的field1设置过期时间为60秒，可以执行以下命令： ``` HSET myhash field1 value1 EXPIRE myhash 60 ``` 这样，60秒后，myhash键名对应的哈希表中的field1域就会被自动删除。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值