引语
这个章节主要讲解了三部分内容:
- 如何设计并管理Redis的键以及与其关联的数据结构;
- 了解并使用Redis客户端对象映射器;
- 介绍如何利用大O标记来评估Redis性能。
键与数据结构
键
我们先来看书中的一段原话:
运行32位还是64位版本的Redis将决定Redis键大小的实际限制。对于32位的版本来说,任何长于32的键名需要更多的字节空间,因此增加了Redis的内存使用。使用64位版本的Redis允许更长的键长度,但是对于短小的键来说,也会分配完整的64位空间,从而导致额外的空间浪费。
Redis本身对于键的命名本身并没有做过多的限制,但在实际的应用场景中,我们的Redis服务器不大可能给单一业务来使用,如果没有相关规范,开发A使用了名称“RedisKey_1”,开发B也使用了名称“RedisKey_1”,但他们并没有去做沟通,那么业务就很容易出现问题;又或者去使用A、B、C、D、1、2、3、4这种无意义的Key,即不利于阅读,也很容易冲突。书的原文中通过大量篇幅列举了如何去给Key命名,总结下来有三点:
- 不推荐太长的键,这样做不仅会大量消耗内存,也会提高查找的计算成本,也会让其他开发者感到困惑;
- 不推荐太短的键,例如使用“u_1”这种形式的键,虽然很短,但实在是得不偿失,不仅仅让开发者感到困惑还提高了键冲突的可能;
- 官方推荐统一的命名,如:lib?{name},这个键表示存储了图书馆下所有图书的名称、原文中推荐是用“:”和“.”来进行分割,个人觉得可以使用类似[项目简称].[模块名].[内容名]的形式来进行存储;
虽然官方给出了规范,但是在实际的使用过程中还是计只能依赖于团队规范,良好的规范可以提高Redis的性能和可维护性,对于key的操作,大家可以去命令手册中查看相关操作命令,这里列出几个常用的:
- exists key:通常我们可以使用这个命令来判断某个键是否存在,时间复杂度O(1);
- keys pattern:如果我们不记得某个key的全拼时,可以使用这个命令列出符合pattern的key,如 keys lib:*就可以列出lib:{name},时间复杂度为O(N),所以这个命令不到万不得已不推荐使用,它会造成Redis长时间堵塞,甚至会导致Redis内存耗尽,推荐使用scan;
- type key:有时候我们想知道查找的key存储的数据是什么类型,以便使用合适的命令查询其中的值,这时候type命令就可以排上用场,他可以返回key所存储的数据类型,如string、list、set、zset、hash等,当然若是key不存在,则会返回none;
- expire key seconds:为key设置过期时间,当key过期后,redis会自动删除过期键。
大O标记
在Redis文档中,每个Redis命令的时间复杂度都由大O示例给出
不论你是用命令手册还是使用官方文档去查看命令,会发现后面均给出了时间复杂度,我们可以据此大致评估出我们算法效率,这里我们顺便回顾一下时间复杂度的概念,老司机请直接跳过看数据结构的内容即可。大O标记用于描述函数渐进行为的数学符号,在计算机领域中,被用来分析算法的时间或空间复杂度,例如:UpdateStr的时间复杂度为O(n),就表示随着输入的增长,处理时间会随着n的变化而线性变化:
public void UpdateStr(List<string> oldVals,string newVal)
{
for (int i = 0; i < oldVals.Count; i++)
{
oldVals[i] = newVal;
}
}
如果你处理1000条数据的时间为100ms,那么你处理10000条数据的时间理论上就为1000ms,但是你不能认为所有复杂度同为O(n)的数据库插入操作也是1000ms,但这只是评估值,并不代表实际的处理结果。常见的复杂度有:
O(1):表示该算法的时间复杂度为常量,不会随输入数据集的大小变化而变化,如:
public void UpdateStr(List<string> oldVals, List<string> newVals)
{
oldVals = newVals;
}
O(n):表示该算法的时间复杂度会随着输入数据的大小变化而变化,如我们前面举的例子;
O(n^2):表示算法会随着数据数据的增长出现二次增长,如:
public void UpdateStr(List<string> oldVals, string newVal)
{
for (int i = 0; i < oldVals.Count; i++)
{
for (int j = 0; j < oldVals.Count; i++)
{
oldVals[i] = newVal;
}
}
}
O(logN):对数级的复杂度算法效率也算比较高的,常见如二分查找、欧几里得算法、幂运算都算是O(logN),这里给出二分查找的例子:
public int BinSearch(int[] sortedArr, int low, int high, int hasVal)
{
int mid = (low + high) / 2;
if (low > high)
return -1;
if (sortedArr[mid] == hasVal)
return mid;
else if (sortedArr[mid] > hasVal)
return BinSearch(sortedArr, low, mid - 1, hasVal);
else
return BinSearch(sortedArr, mid + 1, high, hasVal);
}
一般来讲,复杂度的C(常数)<logN(对数)<log^2N(对数平方根)<N(线性级)<NlogN<N^2(平方级)<N^3(立方级)<2^N(指数级),了解了大O的概念后,就可以对我们的操作进行评估了,也知道为什么keys这个命令在大数据量的情况下最好不要慎重使用了。
数据结构
其实我之前也详细介绍过Redis的数据结构,这里我们重新回顾一下,命令的使用还是推荐大家使用命令手册。最新的Redis在原来五种数据结构之上又增加了HyperLogLog结构,接下来我们逐一介绍:
- String(字符串):这个是Redis中最基本的数据结构和其他键-值存储如Memechached类似,常用的Get和Set操作的时间复杂度均为O(1),我们可以利用他来实现网站访问量的统计、利用bitmap实现用户上线次数统计、限速器、共享Session、分布式锁等功能,参见String手册;
- Hash(哈希):哈希应该是我们在使用Redis过程中最常使用的结构之一了,我们可以使用Hash来存储用户是否被禁言,在官方的memory-optimization一文也推荐使用Hash来作为常用存储,因为它非常节省内存,参见Hash手册;
- List(列表):是字符串的有序集合,它允许使用重复的字符串值,因为列表的特性,他经常被用来做安全队列,用于不同程序之间进行信息交换。进程A通过LPUSH将消息放入队列中,进程B通过RPOP取出消息,若是考虑安全性也可以使用RPOPLPUSH命令来防止数据丢失,在处理完成后,再使用LTRIM删除即可,参见List手册;
- Set(集合):Redis中的集合保证了字符串值的唯一性,但是并不保证这些值的顺序,Redis也实现了集合中的并集(sunion)、交集(sinter)和差级(sdiff),参见Set手册;
- SortedSet(有序集合):有序集合,兼具了Redis列表和集合的特性,有序集合中的值都是为唯一且有序的,我们可以利用他的特性来实现诸如游戏排名功能,参见SortedSet手册;
- HyperLogLog(基数统计)):这是Redis2.8.9版本添加的一个概率数据结构,它的优点是在输入元素的数量或体积非常大时,计算基数所需要的空间总是固定的并且很小,但是他只是一个估计基数,存在一定误差,而且无法获取具体的元素值,因此在对准确性要求不是很高的场景中很有用,如QQ同时在线人数,网站IP访问数等HyperLogLog手册;
- GEO(地理位置):用户存储指定空间的经纬度,这里不做展开,有兴趣的参见GEOADD手册
对象映射器
文章中用了Nodejs来举例,奈何本人前端是个战五渣,大致看了一下,大概类似于数据的ORM之类的东西,.NET的两个主流客户端没发现类似的功能,这里就不做深入了,目前网上最流行的版本Redis驱动有两个ServiceStack.Redis和StackExchange.Redis两个版本,现在分别给出两个版本操作的示例代码:
ServiceStack.Redis
这里值得一提的是ServiceStack.Redis已经开始转向商用,若想正常使用需要购买License或者使用低版本,谨慎使用:
/// <summary>
/// ServiceStack.Redis操作示例。
/// </summary>
public class RedisHelper
{
private static Dictionary<string, PooledRedisClientManager> ClientPool = new Dictionary<string, PooledRedisClientManager>();
private static object AddLock = new object();
/// <summary>
/// 构建IRedisClient对象,可以直接通过IRedisClient实现主要的数据操作。
/// </summary>
/// <remarks>
/// 普通地址:127.0.0.1:6379
/// 带密码地址:password@127.0.0.1:6379
/// </remarks>
public static IRedisClient GetRedisClient(string address, string key = "")
{
if (string.IsNullOrEmpty(key))
key = address;
if (!ClientPool.ContainsKey(key))
{
lock (AddLock)
{
ClientPool[key] = new PooledRedisClientManager(new string[] { address });
}
}
return ClientPool[key].GetClient();
}
/// <summary>
/// 这里特别针对管道进行演示,用于对批量操作进行优化。
/// </summary>
public static void BatchAdd()
{
Dictionary<string, string> maps = new Dictionary<string, string>();
var client = GetRedisClient("", "");
//创建管道
var pipeline = client.CreatePipeline();
foreach (var item in maps)
{
pipeline.QueueCommand(p => p.SetEntry(item.Key, item.Value));
}
//提交
pipeline.Flush();
}
}
StackExchange.Redis
这个客户端也被大家广泛使用,开源免费,可放心使用。
/// <summary>
/// StackExchange.Redis操作示例。
/// </summary>
public class RedisHelper
{
private static object _lock = new object();
private static string _rConnStr = "127.0.0.1:6379";
private static Lazy<ConnectionMultiplexer> _rLazyConn;
/// <summary>
/// 构建IDatabase,效果等同于IRedisClient,可以通过IDatabase进行Redis常规操作。
/// </summary>
/// <remarks>
/// 普通地址:127.0.0.1:6379
/// 带密码地址:127.0.0.1:6379,password=123456
/// </remarks>
public static IDatabase GetDb(int rDb = 0)
{
if (_rLazyConn == null)
{
lock (_lock)
{
if (_rLazyConn == null)
{
if (_rConnStr == null)
throw new ArgumentException("缺少ConnStr的初始化配置。");
_rLazyConn = new Lazy<ConnectionMultiplexer>(() => { return ConnectionMultiplexer.Connect(_rConnStr); });
}
}
}
return _rLazyConn.Value.GetDatabase(rDb);
}
/// <summary>
/// 批量操作的写法,效果等同于Pipeline。
/// </summary>
public static void BatchAdd()
{
Dictionary<string, string> maps = new Dictionary<string, string>();
var batch = GetDb().CreateBatch();
var tasks = new List<Task>();
foreach (var item in maps)
{
tasks.Add(batch.StringSetAsync(item.Key, item.Value));
}
batch.Execute();
Task.WaitAll(tasks.ToArray());
}
}
实战案例
光说不练假把式,书中举例用的是图书馆的案例,业务结构复杂,这里我们举一个网上比较常见的案例,用过QQ的同志想必都看过那个同时在线人数这个功能,这里我们来看如何使用Redis来实现此功能。
方案一:String
当用户登录时,我们使用命令“incr QQ:Online:Count”来增加在线用户数,当用户注销时,我们使用命令“decr QQ:Online:Count”,需要统计时,就可以直接通过“get QQ:Online:Count”获取到现在用户数了,这样就极为简单的实现了现在用户数的统计。
方案二:Set
虽然通过String数据结构能够极为简便的实现我们的目标,但是产品的心就像女人的心一样难以捉摸,需求发生变化,用户可以多登陆,在线统计需要排重,方案一已经无法满足产品的胃口了,只能采用方案二了,前面介绍过Set可以保证存储数据的唯一性,那么用Set来做用户的在线记录比较理想,使用命令“sadd QQ:Online:User 000001”来记录在线用户,当用户注销时,我们使用命令“srem QQ:Online:User 000001”来移除用户,通过“scard QQ:Online:User”来获取用户在线数,似乎已经完美达到了要求。
方案三:SoretedSet
虽然Set可以完美解决需求,但是sadd和srem命令的时间复杂度为O(N),当数据量比较小时,速度还是很快的,但是当数据量变的越来越大时,性能消耗也就也来越大。那么有没有继续提升的空间呢,答案是肯定的,可以用有序集合来解决,使用命令“zadd QQ:Online:User 18072431 000001”来记录在线用户,最后一位记录的是登录时间,当用户注销时,我们使用命令“zrem QQ:Online:User 000001”来移除用户,通过“zcard QQ:Online:User”来获取用户在线数,由于集合是有序的,所以zadd和zrem的时间复杂度均为O(LogN)。
方案四:HyperLogLog
方案二和方案四虽然能够满足需求,但是如果只是但存的统计在线用户数的话,这两个方案比较占用内存,如果对于在线用户数的要求不是十分精确的话,使用HyperLogLog似乎也是个不错的选择,使用“pfadd QQ:Online:User 000001”使用“pfcount QQ:Online:User”来统计,不过没有发现HyperLogLog的移除功能,所以一般情况下只能统计当日登录的用户数。
虽然一般我们不需要去记忆数据结构都有哪些操作,在使用的时候大可以去查命令手册,但还是建议大家把命令手册通读一遍,对于你理解Redis会有很大的帮助。