一、选择合适的存储数据结构的步骤:
- 考虑该类数据的读写频率以及一对多还是一对一的键值对关系,选择适合的几个基本数据类型(Redis基于内存,写的速度基本可以保证);
- 根据需要对数据进行的操作,筛选或者组合使用以上的数据类型(同时需要单点查询以及范围查询的可以组合使用Hash以及ZSet,就是同一条记录保存两次,注意组合数据结构时需要启用事务操作来写数据);
- 为了进一步优化,给以上第二步选取的数据结构类型选择合适的底层实现数据结构(比如Hash类型,数据长度短就使用zipList,长就使用HashTable)。
二、结合Redis存储时间序列数据来说:
- 第一点:
一个对象一个时间点对应一条状态记录,需要快速读写,那么就可以选择String、Hash等;
- 第二点:
需要同时支持单点查询和范围查询,可以组合使用Hash(快速单点查询)和ZSet(根时间序列范围查询),好比是LinkedHashMap = HashMap + LinkedList。
- 第三点:
优化:查询后需要对数据进行聚合操作,Hash和ZSet都不支持聚合操作,所以必须发送给客户端进行聚合(或者选择从库进行聚合),如果数据量过大,网络IO压力大会影响Redis的读写性能,所以进一步优化可以考虑使用外部数据结构RedisTimeSeries(专门存储时间序列的数据结构),它支持在Redis端进行聚合操作,那么最终发送给客户端的数据量就很少了。
三、注意:
- 选择哪种方式都是要结合实际情况的,以上虽然使用RedisTimeSeries可以在Redis端进行聚合操作,但是同样在执行聚合操作时,Redis读写主线程会受到影响。另外,如果使用Hash、ZSet组合一方面要考虑网络IO,另一方面同一份数据要保存两次,需要占用更多内存空间;
- 同时要注意选择的是Redis内部原生的数据结构,还是外部引入的数据结构。内部数据结构性能更好,稳定性更高;外部数据结构的设计一般针对某个业务需求,但是性能不一定好,稳定性不能保证;
- 综上:要全面考虑网络IO性能以及Redis服务端压力以及数据结构本身的稳定性。
参考文章:
https://time.geekbang.org/column/article/282478