学习笔记-Redis（一）

Bite.Z

已于 2022-07-25 11:21:29 修改

阅读量372

点赞数

分类专栏： JAVA学习笔记文章标签： redis 学习数据库

于 2022-07-22 15:08:45 首次发布

本文链接：https://blog.csdn.net/Zk_ZhangK/article/details/125931072

版权

JAVA学习笔记专栏收录该内容

12 篇文章 0 订阅

订阅专栏

一.Redis概述

1.Redis介绍

Redis 是一个开源的 key-value 存储系统。其运行在内存中，具有更快的存储、查询性能。但同时也支持将数据持久化到磁盘中（持久化）。

Redis 与其他 key - value 缓存产品有以下特点：

Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。
Redis不仅仅支持简单的key-value类型的数据，同时还提供list，set，zset，hash等数据结构的存储。（还有新的数据类型，如Bitmaps）
Redis支持数据的备份，即master-slave模式的数据备份。

Redis有着更为复杂的数据结构并且提供对他们的原子性操作，这是一个不同于其他数据库的进化路径。Redis的数据类型都是基于基本数据结构的同时对程序员透明，无需进行额外的抽象。

2.应用场景

存储需要高频词查询，访问的数据，避免过度操作数据库IO
可以用作分布式锁，使用占坑思想（SetNx指令），但要保证加锁解锁的原子性（脚本解锁），Redisson可以自动实现
分布式系统中，可能会在传递Session时，出现跨域、跨服务的情况，此时session会失效。可以将session存入Redis中，做session共享

3.相关技术

Redis使用的是单线程+多路IO复用的技术

具体就像黄牛卖票，多个用户可以向黄牛买票，由黄牛去排队购买票，此时用户可以在此期间做其他自己想做的事，如喝咖啡、工作等。

二.Redis数据类型

注意：

这里的数据类型指的都是Redis的value的数据类型，Redis中的key为String类型。

为了区分Redis的value的Hash数据类型中的key-value，我们将Hash数据类型结构分为feild-value（对应我们平常学哈希的key-value）

1.字符串String

(1)概述

String是Redis最基本的数据类型，一个key对应一个value
String是二进制安全的。可以包含任何数据，比如jpg图片或者序列化后的对象
一个String字符串的最大长度是512M

(2)数据结构

Reids中的String类型的底层数据结构是简单动态字符串（Simple Dynamic String），是可以修改的字符串。其内部结构类似于Java的ArrayList，采用预分配冗余空间的方式来减少内存的频繁分配。

如图中所示，内部为当前字符串实际分配的空间 capacity 一般要高于实际字符串长度 len。当字符串长度小于 1M 时，扩容都是加倍现有的空间，如果超过 1M，扩容时一次只会多扩 1M 的空间。但最高只能扩容到512M。

2.列表List

(1)概述

Redis的List数据类型主要是满足单键多值，其是一个简单的字符串列表，可以按照指定的插入顺序（左插入、右插入）来插入元素。
List的底层其实是一个双向链表，对两端的操作性能很高。

(2) 数据结构

List的数据结构为快速链表：QuickList

首先，当链表元素比较少的时候，会申请一块连续的内存进行存储，这个连续的内存就是压缩列表(ZipList),它将所有的元素紧挨着一起存储，分配的是一块连续的内存。

当数据量比较多的时候才会改成quickList。这样做的目的是为了减少普通链表之间的附加指针的空间成本。比如若某个链表的每个结点其实只是int类型的数据，但还需要额外加上两个额外的指针prev和next。

Redis的quickList的每个结点不是单个元素，而是由上面的ZipList连接起来，这样既满足了双向链表的快速插入删除性能，又不会出现太大的空间冗余。

3.集合Set

(1)概述

Redis的Set集合与List类似，是一个列表的功能，单个键可以存放多个值，但不同的是Set支持自动排重，也就是Set的单个key的value中是不会出现重复的元素的。并且Set也提供了一个可以判断某个元素是否在一个set集合内的接口，这在List中不支持的。
Set是String类型的集合，其底层其实是一个value为null的Hash表（Java中的HashSet其实也类似这样，只不过value都指向的同一个对象），所以其添加、删除、修改的时间复杂度都是o(1)

(2) 数据结构

Set的底层数据结构是dict字典，字典是由哈希表来实现的。
Java 中 HashSet 的内部实现使用的是 HashMap，只不过所有的 value 都指向同一个对象。Redis 的 set 结构也是一样，它的内部也使用 hash 结构，所有的 value 都指向同一个内部值。

4.哈希Hash

(1)概述

Redis的Hash是一个键值对集合，是一个String类型的field和value的映射表。
hash结构特别适合用于存储对象。
类似Java中的Map<String, Object>

(2) 数据结构

Hash 类型对应的数据结构是两种：ziplist（压缩列表），hashtable（哈希表）。当 field-value 长度较短且个数较少时，使用 ziplist，否则使用 hashtable。

5.有序集合Zset

(1)概述

Redis 有序集合 zset 与普通集合 set 非常相似，是一个没有重复元素的字符串集合。
不同之处是有序集合的每个成员都关联了一个评分（score），这个评分（score）被用来按照从最低分到最高分的方式排序集合中的成员。集合的成员是唯一的，但是评分可以是重复了。
因为元素是有序的，所以你也可以很快的根据评分（score）或者次序（position）来获取一个范围的元素。
访问有序集合的中间元素也是非常快的，因此你能够使用有序集合作为一个没有重复成员的智能列表。

(2) 数据结构

Zset是 Redis 提供的一个非常特别的数据结构，一方面它等价于 Java 的数据结构 Map<String, Double>，可以给每一个元素 value 赋予一个权重 score，另一方面它又类似于 TreeSet，内部的元素会按照权重 score 进行排序，可以得到每个元素的名次，还可以通过 score 的范围来获取元素的列表。

zset 底层使用了两个数据结构：

hash，hash 的作用就是关联元素 value 和权重 score，保障元素 value 的唯一性，可以通过元素 value 找到相应的 score 值。
跳跃表，跳跃表的目的在于给元素 value 排序，根据 score 的范围获取元素列表。

(3) 跳跃表

a.简介

有序集合在生活中比较常见，例如根据成绩对学生排名，根据得分对玩家排名等。对于有序集合的底层实现，可以用数组、平衡树、链表等。数组不便元素的插入、删除；平衡树或红黑树虽然效率高但结构复杂；链表查询需要遍历所有效率低。Redis 采用的是跳跃表，跳跃表效率堪比红黑树，实现远比红黑树简单。

b.例子

对比有序链表和跳跃表，从链表中查询出 51：

1.有序列表

查找51的数需要依次遍历，所以需要6次

2.跳跃表

从第 2 层开始，1 节点比 51 节点小，向后比较；
21 节点比 51 节点小，继续向后比较，后面就是 NULL 了，所以从 21 节点向下到第 1 层；
在第 1 层，41 节点比 51 节点小，继续向后，61 节点比 51 节点大，所以从 41 向下；
在第 0 层，51 节点为要查找的节点，节点被找到，共查找 4 次。

6.新数据类型-Bitmaps

(1)概述

Redis 提供了 Bitmaps 这个 “数据类型” 可以实现对位的操作：

Bitmaps 本身不是一种数据类型，实际上它就是字符串（key-value），但是它可以对字符串的位进行操作。
Bitmaps 单独提供了一套命令，所以在 Redis 中使用 Bitmaps 和使用字符串的方法不太相同。可以把 Bitmaps 想象成一个以位为单位的数组，数组的每个单元只能存储 0 和 1，数组的下标在 Bitmaps 中叫做偏移量。
Bitmaps适合存储活跃数比较大的数据，因为其要保存所有用户的数据（状态用0、1表示），如果活跃数越大则用Set保存的数据就要越大，才能更加凸显Bitmaps的优势。但如果活跃数很低，如1亿用户只有10万的活跃数，Set就比Bitmaps更有优势。

case1:有1亿用户，5000万的日活跃数

数据类型	每个用户id占用空间	需要存储的用户量	全部内存量
Set	64位(8字节)	5000万	64*5000W=400MB
Bigmaps	1位	1亿	1*1E=12.5MB

case2:有1亿用户，10万的日活跃数

数据类型	每个用户id占用空间	需要存储的用户量	全部内存量
Set	64位(8字节)	10万	64*10W=800kb
Bigmaps	1位	1亿	1*1E=12.5MB

7.新数据类型-HyperLogLog

(1)概述

在工作当中，我们经常会遇到与统计相关的功能需求，比如统计网站 PV（PageView 页面访问量），可以使用 Redis 的 incr、incrby 轻松实现。但像 UV（UniqueVisitor 独立访客）、独立 IP 数、搜索记录数等需要去重和计数的问题如何解决？这种求集合中不重复元素个数的问题称为基数问题。

解决基数问题有很多种方案：

数据存储在 MySQL 表中，使用 distinct count 计算不重复个数。
使用 Redis 提供的 hash、set、bitmaps 等数据结构来处理。

以上的方案结果精确，但随着数据不断增加，导致占用空间越来越大，对于非常大的数据集是不切实际的。能否能够降低一定的精度来平衡存储空间？Redis 推出了 HyperLogLog。

Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是：在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定的、并且是很小的。
在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。
但是，因为 HyperLogLog 只会根据输入元素来计算基数，而不会储存输入元素本身，所以 HyperLogLog 不能像集合那样，返回输入的各个元素。

什么是基数？

比如数据集 {1, 3, 5, 7, 5, 7, 8}，那么这个数据集的基数集为 {1, 3, 5 ,7, 8}，基数 (不重复元素) 为 5。基数估计就是在误差可接受的范围内，快速计算基数。