深入理解Redis（一）——高级键管理与数据结构

最新推荐文章于 2021-10-06 17:39:47 发布

weixin_30542079

最新推荐文章于 2021-10-06 17:39:47 发布

阅读量163

点赞数

文章标签：数据库数据结构与算法前端 ViewUI

原文链接：http://www.cnblogs.com/krockey/p/9356115.html

版权

引语

这个章节主要讲解了三部分内容：

如何设计并管理Redis的键以及与其关联的数据结构；
了解并使用Redis客户端对象映射器；
介绍如何利用大O标记来评估Redis性能。

键与数据结构

键

我们先来看书中的一段原话：

运行32位还是64位版本的Redis将决定Redis键大小的实际限制。对于32位的版本来说，任何长于32的键名需要更多的字节空间，因此增加了Redis的内存使用。使用64位版本的Redis允许更长的键长度，但是对于短小的键来说，也会分配完整的64位空间，从而导致额外的空间浪费。

Redis本身对于键的命名本身并没有做过多的限制，但在实际的应用场景中，我们的Redis服务器不大可能给单一业务来使用，如果没有相关规范，开发A使用了名称“RedisKey_1”，开发B也使用了名称“RedisKey_1”，但他们并没有去做沟通，那么业务就很容易出现问题；又或者去使用A、B、C、D、1、2、3、4这种无意义的Key，即不利于阅读，也很容易冲突。书的原文中通过大量篇幅列举了如何去给Key命名，总结下来有三点：

不推荐太长的键，这样做不仅会大量消耗内存，也会提高查找的计算成本，也会让其他开发者感到困惑；
不推荐太短的键，例如使用“u_1”这种形式的键，虽然很短，但实在是得不偿失，不仅仅让开发者感到困惑还提高了键冲突的可能；
官方推荐统一的命名，如：lib?{name}，这个键表示存储了图书馆下所有图书的名称、原文中推荐是用“：”和“.”来进行分割，个人觉得可以使用类似[项目简称].[模块名].[内容名]的形式来进行存储；

虽然官方给出了规范，但是在实际的使用过程中还是计只能依赖于团队规范，良好的规范可以提高Redis的性能和可维护性，对于key的操作，大家可以去命令手册中查看相关操作命令，这里列出几个常用的：

exists key：通常我们可以使用这个命令来判断某个键是否存在，时间复杂度O(1)；
keys pattern：如果我们不记得某个key的全拼时，可以使用这个命令列出符合pattern的key，如 keys lib:*就可以列出lib:{name}，时间复杂度为O(N)，所以这个命令不到万不得已不推荐使用，它会造成Redis长时间堵塞，甚至会导致Redis内存耗尽，推荐使用scan；
type key：有时候我们想知道查找的key存储的数据是什么类型，以便使用合适的命令查询其中的值，这时候type命令就可以排上用场，他可以返回key所存储的数据类型，如string、list、set、zset、hash等，当然若是key不存在，则会返回none；
expire key seconds：为key设置过期时间，当key过期后，redis会自动删除过期键。

大O标记

在Redis文档中，每个Redis命令的时间复杂度都由大O示例给出

不论你是用命令手册还是使用官方文档去查看命令，会发现后面均给出了时间复杂度，我们可以据此大致评估出我们算法效率，这里我们顺便回顾一下时间复杂度的概念，老司机请直接跳过看数据结构的内容即可。大O标记用于描述函数渐进行为的数学符号，在计算机领域中，被用来分析算法的时间或空间复杂度，例如：UpdateStr的时间复杂度为O(n)，就表示随着输入的增长，处理时间会随着n的变化而线性变化：

        public void UpdateStr(List<string> oldVals,string newVal)
        {
            for (int i = 0; i < oldVals.Count; i++)
            {
                oldVals[i] = newVal;
            }
        }

如果你处理1000条数据的时间为100ms，那么你处理10000条数据的时间理论上就为1000ms，但是你不能认为所有复杂度同为O(n)的数据库插入操作也是1000ms，但这只是评估值，并不代表实际的处理结果。常见的复杂度有：
O(1)：表示该算法的时间复杂度为常量，不会随输入数据集的大小变化而变化，如：

        public void UpdateStr(List<string> oldVals, List<string> newVals)
        {
            oldVals = newVals;
        }

O(n)：表示该算法的时间复杂度会随着输入数据的大小变化而变化，如我们前面举的例子；
O(n^2)：表示算法会随着数据数据的增长出现二次增长，如：

        public void UpdateStr(List<string> oldVals, string newVal)
        {
            for (int i = 0; i < oldVals.Count; i++)
            {
                for (int j = 0; j < oldVals.Count; i++)
                {
                    oldVals[i] = newVal;
                }               
            }
        }

O(logN)：对数级的复杂度算法效率也算比较高的，常见如二分查找、欧几里得算法、幂运算都算是O(logN)，这里给出二分查找的例子：

        public int BinSearch(int[] sortedArr, int low, int high, int hasVal)
        {
            int mid = (low + high) / 2;
            if (low > high)
                return -1;

            if (sortedArr[mid] == hasVal)
                return mid;
            else if (sortedArr[mid] > hasVal)
                return BinSearch(sortedArr, low, mid - 1, hasVal);
            else
                return BinSearch(sortedArr, mid + 1, high, hasVal);
        }

一般来讲，复杂度的C(常数)<logN(对数)<log^2N(对数平方根)<N(线性级)<NlogN<N^2(平方级)<N^3(立方级)<2^N(指数级)，了解了大O的概念后，就可以对我们的操作进行评估了，也知道为什么keys这个命令在大数据量的情况下最好不要慎重使用了。

数据结构

其实我之前也详细介绍过Redis的数据结构，这里我们重新回顾一下，命令的使用还是推荐大家使用命令手册。最新的Redis在原来五种数据结构之上又增加了HyperLogLog结构，接下来我们逐一介绍：

String(字符串):这个是Redis中最基本的数据结构和其他键-值存储如Memechached类似，常用的Get和Set操作的时间复杂度均为O(1)，我们可以利用他来实现网站访问量的统计、利用bitmap实现用户上线次数统计、限速器、共享Session、分布式锁等功能，参见String手册；
Hash(哈希)：哈希应该是我们在使用Redis过程中最常使用的结构之一了，我们可以使用Hash来存储用户是否被禁言，在官方的memory-optimization一文也推荐使用Hash来作为常用存储，因为它非常节省内存，参见Hash手册；
List(列表)：是字符串的有序集合，它允许使用重复的字符串值，因为列表的特性，他经常被用来做安全队列，用于不同程序之间进行信息交换。进程A通过LPUSH将消息放入队列中，进程B通过RPOP取出消息，若是考虑安全性也可以使用RPOPLPUSH命令来防止数据丢失，在处理完成后，再使用LTRIM删除即可，参见List手册；
Set(集合)：Redis中的集合保证了字符串值的唯一性，但是并不保证这些值的顺序，Redis也实现了集合中的并集（sunion）、交集（sinter）和差级（sdiff），参见Set手册；
SortedSet(有序集合)：有序集合，兼具了Redis列表和集合的特性，有序集合中的值都是为唯一且有序的，我们可以利用他的特性来实现诸如游戏排名功能，参见SortedSet手册；
HyperLogLog(基数统计))：这是Redis2.8.9版本添加的一个概率数据结构，它的优点是在输入元素的数量或体积非常大时，计算基数所需要的空间总是固定的并且很小，但是他只是一个估计基数，存在一定误差，而且无法获取具体的元素值，因此在对准确性要求不是很高的场景中很有用，如QQ同时在线人数，网站IP访问数等HyperLogLog手册；
GEO（地理位置）：用户存储指定空间的经纬度，这里不做展开，有兴趣的参见GEOADD手册

对象映射器

文章中用了Nodejs来举例，奈何本人前端是个战五渣，大致看了一下，大概类似于数据的ORM之类的东西，.NET的两个主流客户端没发现类似的功能，这里就不做深入了，目前网上最流行的版本Redis驱动有两个ServiceStack.Redis和StackExchange.Redis两个版本，现在分别给出两个版本操作的示例代码：

ServiceStack.Redis

这里值得一提的是ServiceStack.Redis已经开始转向商用，若想正常使用需要购买License或者使用低版本，谨慎使用：

    /// <summary>
    /// ServiceStack.Redis操作示例。
    /// </summary>
    public class RedisHelper
    {
        private static Dictionary<string, PooledRedisClientManager> ClientPool = new Dictionary<string, PooledRedisClientManager>();

        private static object AddLock = new object();

        /// <summary>
        /// 构建IRedisClient对象，可以直接通过IRedisClient实现主要的数据操作。
        /// </summary>
        /// <remarks>
        /// 普通地址：127.0.0.1:6379
        /// 带密码地址：password@127.0.0.1:6379
        /// </remarks>
        public static IRedisClient GetRedisClient(string address, string key = "")
        {
            if (string.IsNullOrEmpty(key))
                key = address;
            if (!ClientPool.ContainsKey(key))
            {
                lock (AddLock)
                {
                    ClientPool[key] = new PooledRedisClientManager(new string[] { address });
                }
            }
            return ClientPool[key].GetClient();
        }


        /// <summary>
        /// 这里特别针对管道进行演示，用于对批量操作进行优化。
        /// </summary>
        public static void BatchAdd()
        {
            Dictionary<string, string> maps = new Dictionary<string, string>();

            var client = GetRedisClient("", "");

            //创建管道
            var pipeline = client.CreatePipeline();
            foreach (var item in maps)
            {
                pipeline.QueueCommand(p => p.SetEntry(item.Key, item.Value));
            }
            //提交
            pipeline.Flush();
        }
    }

StackExchange.Redis

这个客户端也被大家广泛使用，开源免费，可放心使用。

    /// <summary>
    /// StackExchange.Redis操作示例。
    /// </summary>
    public class RedisHelper
    {
        private static object _lock = new object();
        private static string _rConnStr = "127.0.0.1:6379";
        private static Lazy<ConnectionMultiplexer> _rLazyConn;

        /// <summary>
        /// 构建IDatabase，效果等同于IRedisClient，可以通过IDatabase进行Redis常规操作。
        /// </summary>
        /// <remarks>
        /// 普通地址：127.0.0.1:6379
        /// 带密码地址：127.0.0.1:6379,password=123456
        /// </remarks>
        public static IDatabase GetDb(int rDb = 0)
        {
            if (_rLazyConn == null)
            {
                lock (_lock)
                {
                    if (_rLazyConn == null)
                    {
                        if (_rConnStr == null)
                            throw new ArgumentException("缺少ConnStr的初始化配置。");

                        _rLazyConn = new Lazy<ConnectionMultiplexer>(() => { return ConnectionMultiplexer.Connect(_rConnStr); });
                    }
                }
            }
            return _rLazyConn.Value.GetDatabase(rDb);
        }

        /// <summary>
        /// 批量操作的写法，效果等同于Pipeline。
        /// </summary>
        public static void BatchAdd()
        {
            Dictionary<string, string> maps = new Dictionary<string, string>();
            var batch = GetDb().CreateBatch();
            var tasks = new List<Task>();
            foreach (var item in maps)
            {
                tasks.Add(batch.StringSetAsync(item.Key, item.Value));
            }
            batch.Execute();
            Task.WaitAll(tasks.ToArray());
        }
    }

实战案例

光说不练假把式，书中举例用的是图书馆的案例，业务结构复杂，这里我们举一个网上比较常见的案例，用过QQ的同志想必都看过那个同时在线人数这个功能，这里我们来看如何使用Redis来实现此功能。

方案一：String

当用户登录时，我们使用命令“incr QQ:Online:Count”来增加在线用户数，当用户注销时，我们使用命令“decr QQ:Online:Count”，需要统计时，就可以直接通过“get QQ:Online:Count”获取到现在用户数了，这样就极为简单的实现了现在用户数的统计。

方案二：Set

虽然通过String数据结构能够极为简便的实现我们的目标，但是产品的心就像女人的心一样难以捉摸，需求发生变化，用户可以多登陆，在线统计需要排重，方案一已经无法满足产品的胃口了，只能采用方案二了，前面介绍过Set可以保证存储数据的唯一性，那么用Set来做用户的在线记录比较理想，使用命令“sadd QQ:Online:User 000001”来记录在线用户，当用户注销时，我们使用命令“srem QQ:Online:User 000001”来移除用户，通过“scard QQ:Online:User”来获取用户在线数，似乎已经完美达到了要求。

方案三：SoretedSet

虽然Set可以完美解决需求，但是sadd和srem命令的时间复杂度为O(N)，当数据量比较小时，速度还是很快的，但是当数据量变的越来越大时，性能消耗也就也来越大。那么有没有继续提升的空间呢，答案是肯定的，可以用有序集合来解决，使用命令“zadd QQ:Online:User 18072431 000001”来记录在线用户，最后一位记录的是登录时间，当用户注销时，我们使用命令“zrem QQ:Online:User 000001”来移除用户，通过“zcard QQ:Online:User”来获取用户在线数，由于集合是有序的，所以zadd和zrem的时间复杂度均为O(LogN)。

方案四：HyperLogLog

方案二和方案四虽然能够满足需求，但是如果只是但存的统计在线用户数的话，这两个方案比较占用内存，如果对于在线用户数的要求不是十分精确的话，使用HyperLogLog似乎也是个不错的选择，使用“pfadd QQ:Online:User 000001”使用“pfcount QQ:Online:User”来统计，不过没有发现HyperLogLog的移除功能，所以一般情况下只能统计当日登录的用户数。

虽然一般我们不需要去记忆数据结构都有哪些操作，在使用的时候大可以去查命令手册，但还是建议大家把命令手册通读一遍，对于你理解Redis会有很大的帮助。

转载于:https://www.cnblogs.com/krockey/p/9356115.html

weixin_30542079

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
深入理解Redis（一）——高级键管理与数据结构

引语这个章节主要讲解了三部分内容：如何设计并管理Redis的键以及与其关联的数据结构；了解并使用Redis客户端对象映射器；介绍如何利用大O标记来评估Redis性能。键与数据结构键我们先来看书中的一段原话：运行32位还是64位版本的Redis将决定Redis键大小的实际限制。对于32位的版本来说，任何长于32的键名需要更多的字节空间，因此增加了Redis的内存使用。使用64位...
复制链接

扫一扫