数据库（五）

第二部分 Redis 数据库

第一章 NoSQL介绍

1.1 什么是NoSQL

NoSQL（Not Only SQL）即不仅仅是SQL，泛指非关系型的数据库，它可以作为关系型数据库的良好补充。随着互联网web2.0网站的兴起，非关系型的数据库现在成了一个极其热门的新领域，非关系数据库产品的发展非常迅速。

1.2 为什么会出现NoSQL技术

随着互联网web2.0网站的兴起，传统的关系型数据库在应付web2.0网站，特别是超大规模和高并发的SNS（Social Networking Services 社交网络服务）类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题：

1. High performance - 数据的高并发读写

web2.0网站要根据用户个性化信息来实时生成动态页面和提供动态信息，所以基本上无法使用动态页面静态化技术，因此数据库并发负载非常高，往往要达到每秒上万次读写请求。而关系型数据库应付上万次SQL查询还勉强可以承受，但是应付上万次SQL写数据请求，硬盘IO就已经无法承受了。其实对于普通的BBS网站，往往也存在对高并发写请求的需求，例如网站的实时统计在线用户状态，记录热门帖子的点击次数，投票计数等，因此这是一个相当普遍的需求。

1. Huge Storage - 海量数据的高效率存储和访问

类似Facebook，twitter，Friendfeed这样的SNS网站，每天用户产生海量的用户动态，如Friendfeed一个月就达到了2.5亿条用户动态。对于关系型数据库而言，在一张2.5亿条记录的表里面进行SQL查询，效率是极其低下乃至不可忍受的。同样对于大型web网站的用户登录系统，如腾讯、阿里、网易等动辄数以亿计的帐号，使用关系型数据库很难应付。

1. High Scalability & High Availability - 数据库的高扩展和高可用

在基于web的架构当中，数据库是最难进行横向扩展的，当一个应用系统的用户量和访问量与日俱增的时候，你的数据库却没有办法像web server和app server那样简单的通过添加更多的硬件和服务节点来扩展性能和负载能力。对于很多需要提供24小时不间断服务的网站来说，对数据库系统进行升级和扩展是非常痛苦的事情，往往需要停机维护和数据迁移，因此需要数据库具有可扩展和高可用的特性。

总结：传统的关系型数据库只能存储结构化数据，对于非结构化的数据支持不够完善。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。

1.3 NoSQL的类别

• 键值（Key-Value）存储数据库

  说明：这一类数据库主要会使用到一个哈希表，这个表中有一个特定的键和一个指针指向特定的数据。

  Key/Value模型对于IT系统来说优势在于简单、易部署。

  应用：内容缓存，主要用于处理大量数据的高访问负载。

  产品：Tokyo Cabinet/Tyrant、==Redis==、Voldemort、Berkeley DB

  优势：快速查询

  劣势：存储的数据缺少结构化

• 列存储数据库

  说明：这部分数据库通常是用来应对分布式存储的海量数据。键仍然存在，但是它们的特点是指向了多个列，这些列是由列家族来安排的。

  应用：分布式文件系统

  产品：Cassandra，==HBase==，Riak

  优势：查找速度快，可扩展性强，更容易进行分布式扩展

  劣势：功能相对局限

• 文档型数据库

  说明：该类型的数据模型 是版本化的文档，半结构化的文档以特定的格式存储，如JSON。文档型数据库可以看作是键值数据库的升级版，允许之间嵌套键值。而且文档型数据库比键值数据库的查询效率更高。

  应用：Web应用

  产品：CouchDB，==MongoDB==

  优势：数据结构要求不严格

  劣势：查询性能不高，且缺乏统一的查询语法

• 图形（Graph）数据库

  说明：图形结构的数据库同其他行列以及刚性结构的SQL数据库不同，它是使用灵活的图形模型，并且能够扩展到多个服务器上。NoSQL数据库没有标准的查询语言（SQL），因此进行数据库查询需要制定数据模型。许多NoSQL数据库都有REST格式的数据接口或者查询API。

  应用：社交网络

  产品： ==Neo4j==，InfoGrid，Infinite Graph

  优势：利用图结构相关算法

  劣势：需要对整个图做计算才能得出结果，不容易做分布式的集群方案

1.4 NoSQL适应场景

1. 数据模型比较简单

2. 需要灵活性更强的IT系统

3. 对数据库性能要求较高

4. 不需要高度的数据一致性

5. 对于给定key，比较容易映射复杂的环境

6. 取最新的N个数据（如排行榜）

7. 数据缓存

1.5 在分布式数据库中CAP原理

1.5.1 传统的ACID是什么

关系型数据库遵循==ACID==规则，事务在英文中是transaction，和现实世界中的交易很类似，它有如下四个特性：

1. A (Atomicity) 原子性

   指事务里的所有操作要么都成功，要么都失败。事务成功的条件是事务里的所有操作都成功，只要有一个操作失败，整个事务就失败，需要回滚。

2. C (Consistency) 一致性

   指数据库要一直处于一致的状态，事务的运行不会改变数据库原本的一致性约束。

3. I (Isolation) 隔离性

   指并发的事务之间不会互相影响，如果一个事务要访问的数据正在被另外一个事务修改，只要另外一个事务未提交，它所访问的数据就不受未提交事务的影响。

4. D (Durability) 持久性

   是指一旦事务提交后，它所做的修改将会永久的保存在数据库中，即使出现宕机也不会丢失。

1.5.2 CAP

• ==C==onsistency（强一致性）

• ==A==vailability（可用性）

• ==P==artition tolerance（分区容错性）

CAP理论是指在分布式存储系统中，最多只能实现上面的两点。由于当前的网络硬件存在延迟丢包等问题，所以分区容忍性是我们必须要实现的。所以我们只能在一致性和可用性之间进行权衡，没有NoSQL系统能同时保证这三点。

• ==CA== 传统Oracle数据库

• ==AP== 大多数网站架构的选择

• ==CP== Redis、Mongodb

注意：在做分布式架构的时候必须做出取舍。==一致性和可用性之间取一个平衡==。对于大多数web应用，其实并不需要强一致性。因此牺牲C换取P，这是目前分布式数据库产品的方向。

1.5.3 经典CAP图

CAP理论的核心是：一个分布式系统不可能同时很好的满足一致性，可用性和分区容错性这三个需求，最多只能同时较好的满足两个。因此，根据 CAP 原理将 NoSQL 数据库分成了满足 CA 原则、满足 CP 原则和满足 AP 原则三 大类：

• ==CA== - 单点集群，满足一致性，可用性的系统，通常在可扩展性上不太强大。

• ==CP== - 满足一致性，分区容忍必的系统，通常性能不是特别高。

• ==AP== - 满足可用性，分区容忍性的系统，通常可能对一致性要求低一些。

1.5.4 什么是BASE

BASE就是为了解决关系数据库强一致性引起的问题而导致可用性降低而提出的解决方案。BASE其实是下面三个术语的缩写：

基本可用（==B==asically ==A==vailable） 软状态（==S==oft state） 最终一致（==E==ventually consistent）

它的思想是通过让系统放松对某一时刻数据一致性的要求来换取系统整体伸缩性和性能上改观。为什么这么说呢，缘由就在于大型系统往往由于地域分布和极高性能的要求，不可能采用分布式事务来完成这些指标，要想获得这些指标，我们必须采用另外一种方式来完成，这里BASE就是解决这个问题的办法。

第二章 Redis介绍和部署

2.1 Redis概述

2.1.1 什么是Redis

2008年，意大利的一家创业公司Merzia推出了一款基于MySQL的网站实时统计系统LLOOGG，然而没过多久该公司的创始人 Salvatore Sanfilippo便开始对MySQL的性能感到失望，于是他决定亲自为LLOOGG量身定做一个数据库，并于2009年开发完成，这个数据库就是Redis。不过Salvatore Sanfilippo并不满足只将Redis用于LLOOGG这一款产品，而是希望更多的人使用它，于是在同一年Salvatore Sanfilippo将Redis开源发布，并开始和Redis的另一名主要的代码贡献者Pieter Noordhuis一起继续着Redis的开发，直到今天。

Salvatore Sanfilippo自己也没有想到，短短的几年时间，Redis就拥有了庞大的用户群体。Hacker News在2012年发布了一份数据库的使用情况调查，结果显示有近12%的公司在使用Redis。国内如新浪微博、街旁网、知乎，国外如GitHub、Stack Overflow、Flickr、暴雪和Instagram，都是Redis的用户。

VMware公司从2010年开始赞助Redis的开发， Salvatore Sanfilippo和Pieter Noordhuis也分别在3月和5月加入VMware，全职开发Redis。【本部分内容取自《REDIS入门指南》】

Redis is an open source (BSD licensed), in-memory data structure store, used as a database, cache and message broker. It supports data structures such as strings, hashes, lists, sets, sorted sets with range queries, bitmaps, hyperloglogs, geospatial indexes with radius queries and streams. Redis has built-in replication, Lua scripting, LRU eviction, transactions and different levels of on-disk persistence, and provides high availability via Redis Sentinel and automatic partitioning with Redis Cluster.

Redis（==RE==mote ==D== ==I==ctionary ==S==erver 远程字典服务器），是完全开源免费的，用C语言编写的，遵守BSD协议，是一个高性能的(key/value)分布式内存数据库，基于内存运行，并支持持久化的NoSQL数据库，是当前最热门的NoSQL数据库之一, 也被人们称为数据结构服务器。

Redis是一个开源的高性能键值对（Key-Value）数据库。它通过提供多种键值数据类型来适应不同场景下的存储需求，目前为止Redis支持的键值数据类型如下：

• 字符串类型

• 散列类型

• 列表类型

• 集合类型

• 有序集合类型

学习参考网站：Redis 教程 | 菜鸟教程

2.1.2 Redis能干什么

• 内存存储和持久化：redis支持异步将内存中的数据写到硬盘上，同时不影响继续服务

• 取最新N个数据的操作，如：可以将最新的10条评论的ID放在Redis的List集合里面

• 模拟类似于HttpSession这种需要设定过期时间的功能

• 发布、订阅消息系统

• 定时器、计数器

2.1.3 Redis的特点

• 性能极高：Redis 读的速度是 110000 次 /s，写的速度是 81000 次 /s 。

• 丰富的数据类型：Redis 支持二进制案例的 String，List，Hash，Set及 ZSet 数据类型操作。

• 原子性：Redis 的所有操作都是原子性的，意思就是要么成功执行要么失败完全不执行。单个操作是原子性的。多个操作也支持事务，即原子性，通过 MULTI 和 EXEC 指令包起来。

• 数据持久化：可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用

• 其他特性：Redis 还支持 publish/subscribe 通知，key 过期等特性。

Redis 提供的API支持：C、C++、C#、Clojure、Java、JavaScript、Lua、PHP、Python、Ruby、Go、Scala、Perl等多种语言。

2.1.4 Redis与memcached对比

• 共同点

  无论是Memcached还是Redis底层都是使用C语言编写，都是基于key-value，存储的数据都是在内存中。

• 不同点

  Memcached支持的数据类型比较简单（String，Object）；Redis 支持的数据类型比较丰富。

  Memcached默认一个值的最大存储不能超过1M；Redis一个值的最大存储1G。

  Memcached中存储的数据不能持久化，一旦断电数据丢失；Redis中存储的数据可以持久化。

  Memcached是多线程，支持并发访问；Redis是单线程，不支持并发访问。

  Memcached自身不支持集群环境；Redis从3.0版本之后自身开始提供集群环境支持。

2.1.5 如何获取

要想获取Redis，可以从Redis官网上获取：https://redis.io，也可以从Redis中文网站上获取：http://www.redis.cn

2.2 Redis的安装

从Redis官网进行下载。Redis

下面以 redis-6.2.7.tar.gz 版为例，来说明redis的安装与配置。

1、准备安装环境

由于 Redis 是基于 C 语言编写的，因此首先需要安装 Redis 所需要的依赖：

yum install -y gcc tcl gcc-c++ make

2、上传安装文件

将下载好的 redis-6.2.7.tar.gz 安装包上传到虚拟机的任意目录（一般推荐上传到 /usr/local/src目录）。

3、解压安装文件

上传后执行如下命令来进行解压。

tar -zxvf redis-6.2.7.tar.gz

4、进入安装目录

解压完成后，执行如下命令进入解压目录。

cd redis-6.2.7

5、运行编译命令

然后执行如下命令进行编译。

make && make install

说明：如果在编译过程中出现 Jemalloc/jemalloc.h：没有那个文件 没有的错误，在确保 gcc 安装成功后，可执行 make distclean 进行清除后再次安装。

如果没有出错，就会安装成功。默认的安装路径是在 /usr/local/bin 目录下。可以将这个目录配置到环境变量中，这样就可以在任意目录下运行这些命令了。主要的几个命令说明如下：

• redis-server：它是 redis 的服务端启动脚本

• redis-cli：它是 redis 提供的客户端启动脚本

• redis-sentinel：它是 redis 提供的哨兵启动脚本

• redis-benchmark：性能测试工具，可以在自己电脑上运行来查看性能

• redis-check-aof：修复有问题的AOF文件

• redis-check-dump：修复有问题的dump.rdb文件

6、前台启动

执行如下命令来启动 redis。

redis-server

注意：这里直接执行 redis-server 启动的 Redis 服务，是在前台直接运行的(效果如上图)，也就是说，执行完该命令后，如果关闭当前会话，则Redis服务也随即关闭，因此这种方式不推荐使用。正常情况下，启动 Redis 服务需要从后台启动。

查看Redis服务：

1. ps -ef | grep redis

关闭Redis服务：

1. pkill redis-server

2. kill 进程号

3. 单实例关闭：redis-cli shutdown

4. 多实例关闭：redis-cli -p 6379 shutdown

7、后台启动

在 redis 的安装目录中，有一个 redis.conf 文件，我们把这个文件复制到 /etc/目录下：

cp /usr/local/redis/redis.conf /etc/

然后修改 /etc/redis.conf 文件，把 daemonize 值设置为 yes 即可。

vim /etc/redis.conf  # 修改daemonize no

保存退出后，执行如下命令来启动服务。

bin>redis-server /etc/redis.conf

8、验证服务

我们可以使用 redis-cli 脚本来连接 redis 服务。

redis-cli -p 6379

然后执行如下命令：

127.0.0.1:6379> ping
PONG

如果能够看到如上信息，表示连接成功。

9、关闭服务

可以执行如下命令来关闭 redis 服务。

redis-cli shutdown

关闭后可以执行如下命令来查看进程是否还存在。

ps -ef | grep redis

注意：也可以进入终端后再关闭：

127.0.0.1:6379> shutdown

10、相关知识

redis 默认的端口号是 6379，默认有 16 个数据库，类似数组下标从 0 开始，初始默认使用 0 号数据库。

可以使用 select <dbid> 命令来切换数据库。例如切换到 2 号数据库是 select 2。

在 redis 中，可以使用 dbsize 命令来查看当前数据库的 key 的数量，也可以使用 flushdb 命令来清空当前数据库中所有数据，还可以使用 flushall 命令来删除所有数据库中的数据。

Redis是单线程+多路IO复用技术。多路复用是指使用一个线程来检查多个文件描述符（Socket）的就绪状态，比如调用select和poll函数，传入多个文件描述符，如果有一个文件描述符就绪，则返回，否则阻塞直到超时。得到就绪状态后进行真正的操作可以在同一个线程里执行，也可以启动线程执行（比如使用线程池）。

11、开启启动

redis 没有开机启动功能，我们需要编写脚本来实现这个功能。我们在 /etc/systemd/system 目录下新建 redis.service 文件。

cd /etc/systemd/system
mkdir redis.service

然后添加如下内容：

[Unit]
#服务描述
Description=Redis Server Manager
#服务类别
After=network.target
​
[Service]
#后台运行的形式
Type=forking
#服务命令
ExecStart=/usr/local/redis-6.2.7/bin/redis-server /etc/redis.conf
#给服务分配独立的临时空间
PrivateTmp=true
​
[Install]
#运行级别下服务安装的相关设置，可设置为多用户，即系统运行级别为3
WantedBy=multi-user.target

然后执行如下命令：

systemctl start redis.service #启动redis服务 
systemctl enable redis.service #设置开机自启动 

2.2.3 Docker安装

1、拉取镜像

// 拉取最新
docker pull redis
//拉取指定版本
docker pull redis:6.2.7

2、查看镜像

docker images

3、运行容器

docker run --restart=always --log-opt max-size=100m --log-opt max-file=2 -p 6379:6379 --name myredis -v /home/redis/myredis/myredis.conf:/etc/redis/redis.conf -v /home/redis/myredis/data:/data -d redis redis-server /etc/redis/redis.conf  --appendonly yes  --requirepass 000415

参数说明：

• –restart=always：总是开机启动

• –log：配置日志

• -p 6379:6379：将6379端口挂载出去

• –name：给这个容器取一个名字

• -v：数据卷挂载

  • /home/redis/myredis/myredis.conf:/etc/redis/redis.conf：这里是将 liunx 路径下的myredis.conf 和redis下的redis.conf 挂载在一起。

  • /home/redis/myredis/data:/data：这个同上

• -d redis：表示后台启动redis

• redis-server /etc/redis/redis.conf：以配置文件启动redis，加载容器内的conf文件，最终找到的是挂载的目录 /etc/redis/redis.conf 也就是liunx下的/home/redis/myredis/myredis.conf

• –appendonly yes：开启redis 持久化

• –requirepass 000415：设置密码 （如果你是通过docker 容器内部连接的话，可设可不设。但是如果想向外开放的话，一定要设置）

4、查看容器

docker ps

5、连接容器

docker exec -it myredis redis-cli

6、测试容器

set name zs
get name

第三章 数据类型

3.1 Key操作

3.1.1 相关命令

序号	命令语法	描述
1	DEL key	该命令用于在 key 存在时删除 key
2	DUMP key	序列化给定 key ，并返回被序列化的值
3	EXISTS key	检查给定 key 是否存在，存在返回1，否则返回0
4	EXPIRE key seconds	为给定 key 设置过期时间，以秒计
5	EXPIREAT key timestamp	EXPIREAT 的作用和 EXPIRE 类似，都用于为 key 设置过期时间。不同在于 EXPIREAT 命令接受的时间参数是 UNIX 时间戳
6	PEXPIRE key milliseconds	设置 key 的过期时间以毫秒计
7	PEXPIREAT key milliseconds-timestamp	设置 key 过期时间的时间戳(unix timestamp) 以毫秒计
8	KEYS pattern	查找所有符合给定模式( pattern)的 key
9	MOVE key db	将当前数据库的 key 移动到给定的数据库 db 当中
10	PERSIST key	移除 key 的过期时间，key 将持久保持
11	PTTL key	以毫秒为单位返回 key 的剩余的过期时间
12	TTL key	以秒为单位，返回给定 key 的剩余生存时间(TTL, time to live)
13	RANDOMKEY	从当前数据库中随机返回一个 key
14	RENAME key newkey	修改 key 的名称
15	RENAMENX key newkey	仅当 newkey 不存在时，将 key 改名为 newkey
16	SCAN cursor [MATCH pattern] [COUNT count]	迭代数据库中的数据库键
17	TYPE key	返回 key 所储存的值的类型
18	SELECT db	选择数据库 数据库为0-15（默认一共16个数据库）
19	DBSIZE	查看数据库的key数量
20	FLUSHDB	清空当前数据库
21	FLUSHALL	清空所有数据库
22	ECHO	打印命令

说明： KEYS * 匹配数据库中所有key KEYS h?llo 匹配hello，hallo，hxllo等 KEYS h*llo 匹配hllo和heeello等 KEYS h[ae]llo 匹配hello和hallo

3.1.2 示例演示

127.0.0.1:6379> dbsize
(integer) 0
127.0.0.1:6379> keys *
(empty array)
127.0.0.1:6379> set name openlab
OK
127.0.0.1:6379> get name
"openlab"
127.0.0.1:6379> type name
string
127.0.0.1:6379> EXISTS name
(integer) 1

3.2 String

String 是 redis 最基本的类型，你可以理解成与 Memcached 一模一样的类型，一个 key 对应一个 value。

String 类型是二进制安全的，意思是 redis 的 string 可以包含任何数据。比如jpg图片或者序列化的对象。

String 类型是 Redis 最基本的数据类型，String 类型的值最大能存储 512MB。

String类型一般用于缓存、限流、计数器、分布式锁、分布式Session。

3.2.1 结构图

3.2.2 相关命令

序号	命令语法	描述
1	SET key value	设置指定 key 的值
2	GET key	获取指定 key 的值
3	GETRANGE key start end	返回 key 中字符串值的子字符，end=-1时表示全部
4	SETBIT key offset value	对 key 所储存的字符串值，设置或清除指定偏移量上的位(bit)
5	GETBIT key offset	对 key 所储存的字符串值，获取指定偏移量上的位(bit)
6	MSET key value [key value ...]	同时设置一个或多个 key-value 对
7	MGET key1 [key2..]	获取所有(一个或多个)给定 key 的值
8	GETSET key value	将给定 key 的值设为 value ，并返回 key 的旧值(old value)
9	SETEX key seconds value	将值 value 关联到 key ，并将 key 的过期时间设为 seconds (以秒为单位)
10	SETNX key value	只有在 key 不存在时设置 key 的值
11	SETRANGE key offset value	用 value 参数覆写给定 key 所储存的字符串值，从偏移量 offset 开始
12	STRLEN key	返回 key 所储存的字符串值的长度
13	MSETNX key value [key value ...]	同时设置一个或多个 key-value 对，当且仅当所有给定 key 都不存在
14	PSETEX key milliseconds value	与 SETEX 命令相似，但它以毫秒为单位设置 key 的生存时间
15	INCR key	将 key 中储存的数字值增一
16	INCRBY key increment	将 key 所储存的值加上给定的增量值（increment）
17	INCRBYFLOAT key increment	将 key 所储存的值加上给定的浮点增量值（increment）
18	DECR key	将 key 中储存的数字值减一
19	DECRBY key decrement	key 所储存的值减去给定的减量值（decrement）
20	APPEND key value	如果 key 已经存在并且是一个字符串，APPEND 命令将指定的 value 追加到该 key 原来值 value 的末尾

3.2.3 示例演示

127.0.0.1:6379> SET name redis
OK
127.0.0.1:6379> GET name
"redis"
# 如果值是中文，则需要在连接客户端是指定规则
./redis-cli -p 6379 --raw

3.3 List

Redis列表是简单的字符串列表，按照插入顺序排序。你可以添加一个元素到列表的头部（左边）或者尾部（右边）一个列表最多可以包含 2^32^ - 1 个元素 (4294967295, 每个列表超过40亿个元素)。

List类型一般用于关注人、简单队列等。

3.3.1 结构图

3.3.2 相关命令

序号	命令语法	描述
1	LPUSH key value1 [value2]	将一个或多个值插入到列表头部
2	LPOP key	移出并获取列表的第一个元素
3	LRANGE key start stop	获取列表指定范围内的元素
4	LPUSHX key value	将一个值插入到已存在的列表头部
5	RPUSH key value1 [value2]	在列表中添加一个或多个值
6	RPOP key	移除列表的最后一个元素，返回值为移除的元素
7	RPUSHX key value	为已存在的列表添加值
8	LLEN key	获取列表长度
9	LINSERT key BEFORE|AFTER pivot value	在列表的元素前或者后插入元素
10	LINDEX key index	通过索引获取列表中的元素
11	LSET key index value	通过索引设置列表元素的值
12	LREM key count value	移除列表元素
13	LTRIM key start stop	对一个列表进行修剪，就是让列表只保留指定区间内的元素，不在指定区间之内的元素都将被删除
14	BLPOP key1 [key2 ] timeout	移出并获取列表的第一个元素，如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止
15	BRPOP key1 [key2 ] timeout	移出并获取列表的最后一个元素，如果列表没有元素会阻塞列表直到等待超时或发现可弹出元素为止
16	BRPOPLPUSH source destination timeout	从列表中弹出一个值，将弹出的元素插入到另外一个列表中并返回它；如果列表没有元素会阻塞列表直到等待超时或发现可lpu弹出元素为止
17	RPOPLPUSH source destination	移除列表的最后一个元素，并将该元素添加到另一个列表并返回

3.3.3 示例演示

127.0.0.1:6379> LPUSH name zhangsan
(integer) 1
127.0.0.1:6379> LPUSH name lisi
(integer) 2
127.0.0.1:6379> LPUSH name wangwu
(integer) 3
127.0.0.1:6379> LRANGE name 0 10
1) "wangwu"
2) "lisi"
3) "zhangsan"

3.4 Set

Redis 的 Set 是 String 类型的无序集合。集合中成员是唯一的，这就意味着集合中不能出现重复的数据。Redis 中集合是通过哈希表实现的，所以添加，删除，查找的复杂度都是 O(1)。 集合中最大的成员数为 2^32^ - 1 (4294967295, 每个集合可存储40多亿个成员)。

Set类型一般用于赞、踩、标签、好友关系等。

3.4.1 结构图

3.4.2 相关命令

序号	命令语法	描述
1	SADD key member1 [member2]	向集合添加一个或多个成员
2	SMEMBERS key	返回集合中的所有成员
3	SCARD key	获取集合的成员数
4	SRANDMEMBER key [count]	返回集合中一个或多个随机数
5	SISMEMBER key member	判断 member 元素是否是集合 key 的成员
6	SREM key member1 [member2]	移除集合中一个或多个成员
7	SDIFF key1 [key2]	返回给定所有集合的差集
8	SDIFFSTORE destination key1 [key2]	返回给定所有集合的差集并存储在 destination 中
9	SINTER key1 [key2]	返回给定所有集合的交集
10	SINTERSTORE destination key1 [key2]	返回给定所有集合的交集并存储在 destination 中
11	SUNION key1 [key2]	返回所有给定集合的并集
12	SUNIONSTORE destination key1 [key2]	所有给定集合的并集存储在 destination 集合中
13	SMOVE source destination member	将 member 元素从 source 集合移动到 destination 集合
14	SPOP key	移除并返回集合中的一个随机元素
15	SSCAN key cursor [MATCH pattern] [COUNT count]	迭代集合中的元素

• ==cursor==：游标

• ==MATCH pattern==：查询 Key 的条件

• ==Count count==：返回的条数，默认值为 10

SCAN 是一个基于游标的迭代器，需要基于上一次的游标延续之前的迭代过程。SCAN 以 ==0== 作为游标，开始一次新的迭代，直到命令返回游标 0 完成一次遍历。 此命令并不保证每次执行都返回某个给定数量的元素，甚至会返回 0 个元素，但只要游标不是 0，程序都不会认为 SCAN 命令结束，但是返回的元素数量大概率符合 Count 参数。另外，SCAN 支持模糊查询。

例：SSCAN names 0 MATCH test* COUNT 10 # 每次返回10条以test为前缀的key

3.4.3 示例演示

127.0.0.1:6379> SADD course redis
(integer) 1
127.0.0.1:6379> SADD course mongodb
(integer) 1
127.0.0.1:6379> SADD course mysql
(integer) 1
127.0.0.1:6379> SADD course mysql
(integer) 0
127.0.0.1:6379> SMEMBERS course
1) "mongodb"
2) "redis"
3) "mysql"
127.0.0.1:6379> sscan course 0 match m* count 10
1) "0"
2) 1) "mongodb"
   2) "mysql"

3.5 Zset

Redis 有序集合和集合一样也是string类型元素的集合且不允许重复的成员。不同的是每个元素都会关联一个==double类型的分数==。redis正是通过分数来为集合中的成员进行从小到大的排序。有序集合的成员是唯一的，但分数(score)却可以重复。

集合是通过哈希表实现的，所以添加，删除，查找的复杂度都是O(1)。 集合中最大的成员数为 2^32^ - 1 (4294967295, 每个集合可存储40多亿个成员)。

Zset类型一般用于排行榜等。

3.5.1 结构图

3.5.2 相关命令

序号	命令语法	描述
1	ZADD key score1 member1 [score2 member2]	向有序集合添加一个或多个成员，或者更新已存在成员的分数
2	ZCARD key	获取有序集合的成员数
3	ZCOUNT key min max	计算在有序集合中指定区间分数的成员数
4	ZINCRBY key increment member	有序集合中对指定成员的分数加上增量 increment
5	ZLEXCOUNT key min max	在有序集合中计算指定字典区间内成员数量
6	ZRANGE key start stop [WITHSCORES]	通过索引区间返回有序集合指定区间内的成员
7	ZRANGEBYLEX key min max [LIMIT offset count]	通过字典区间返回有序集合的成员
8	ZRANGEBYSCORE key min max [WITHSCORES] [LIMIT]	通过分数返回有序集合指定区间内的成员
9	ZRANK key member	返回有序集合中指定成员的索引
10	ZREM key member [member ...]	移除有序集合中的一个或多个成员
11	ZREMRANGEBYLEX key min max	移除有序集合中给定的字典区间的所有成员
12	ZREMRANGEBYRANK key start stop	移除有序集合中给定的排名区间的所有成员
13	ZREMRANGEBYSCORE key min max	移除有序集合中给定的分数区间的所有成员
14	ZREVRANGE key start stop [WITHSCORES]	返回有序集中指定区间内的成员，通过索引，分数从高到低
15	ZREVRANGEBYSCORE key max min [WITHSCORES]	返回有序集中指定分数区间内的成员，分数从高到低排序
16	ZREVRANK key member	返回有序集合中指定成员的排名，有序集成员按分数值递减(从大到小)排序
17	ZSCORE key member	返回有序集中，成员的分数值
18	ZINTERSTORE destination numkeys key [key ...]	计算给定的一个或多个有序集的交集并将结果集存储在新的有序集合 key 中
19	ZUNIONSTORE destination numkeys key [key ...]	计算给定的一个或多个有序集的并集，并存储在新的 key 中
20	ZSCAN key cursor [MATCH pattern] [COUNT count]	迭代有序集合中的元素（包括元素成员和元素分值）

3.5.3 示例演示

127.0.0.1:6379> ZADD courses 1 redis
(integer) 1
127.0.0.1:6379> ZADD courses 2 mongodb
(integer) 1
127.0.0.1:6379> ZADD courses 3 mysql
(integer) 1
127.0.0.1:6379> ZADD courses 3 mysql
(integer) 0
127.0.0.1:6379> ZADD courses 4 mysql
(integer) 0
127.0.0.1:6379> ZRANGE courses 0 10 WITHSCORES
1) "redis"
2) "1"
3) "mongodb"
4) "2"
5) "mysql"
6) "4"

3.6 Hash

Redis hash 是一个 string 类型的 field 和 value 的映射表，hash 特别适合用于存储对象。Redis 中每个 hash 可以存储 2^32^ - 1 键值对（40多亿）。

Hash类型一般用于存储用户信息、用户主页访问量、组合查询等。

3.6.1 结构图

3.6.2 相关命令

序号	命令语法	描述
1	HSET key field value	将哈希表 key 中的字段 field 的值设为 value
2	HGET key field	获取存储在哈希表中指定字段的值
3	HGETALL key	获取在哈希表中指定 key 的所有字段和值
4	HEXISTS key field	查看哈希表 key 中，指定的字段是否存在
5	HSETNX key field value	只有在字段 field 不存在时，设置哈希表字段的值
6	HKEYS key	获取所有哈希表中的字段
7	HVALS key	获取哈希表中所有值
8	HLEN key	获取哈希表中字段的数量
9	HMGET key field1 [field2]	获取所有给定字段的值
10	HMSET key field1 value1 [field2 value2]	同时将多个 field-value (域-值)对设置到哈希表 key 中
11	HINCRBY key field increment	为哈希表 key 中的指定字段的整数值加上增量 increment
12	HINCRBYFLOAT key field increment	为哈希表 key 中的指定字段的浮点数值加上增量 increment
13	HDEL key field1 [field2]	删除一个或多个哈希表字段
14	HSCAN key cursor [MATCH pattern] [COUNT count]	迭代哈希表中的键值对

3.6.3 示例演示

127.0.0.1:6379>  HMSET hpe name "zhangsan" age 18 gender "男" birth 2000-01-01
OK
127.0.0.1:6379>  HGETALL hpe
1) "name"
2) "zhangsan"
3) "age"
4) "18"
5) "gender"
6) "男"
7) "birth"
8) "2000-01-01"

3.7 Bitmaps

3.7.1 介绍

现代计算机用二进制（位） 作为信息的基础单位， 1个字节等于8位， 例如“abc”字符串是由3个字节组成， 但实际在计算机存储时将其用二进制表示， “abc”分别对应的ASCII码分别是97、 98、 99， 对应的二进制分别是01100001、 01100010和01100011，如下图：

合理地使用操作位能够有效地提高内存使用率和开发效率。

Redis 6 中提供了 Bitmaps 这个“数据类型”可以实现对位的操作：

1）Bitmaps本身不是一种数据类型，实际上它就是字符串（key-value），但是它可以对字符串的位进行操作。

2）Bitmaps单独提供了一套命令，所以在Redis中使用Bitmaps和使用字符串的方法不太相同。 可以把Bitmaps想象成一个以位为单位的数组， 数组的每个单元只能存储0和1， 数组的下标在Bitmaps中叫做偏移量。

3.7.2 相关命令

1、setbit

这个命令用于设置Bitmaps中某个偏移量的值（0或1），offset偏移量从0开始。格式如下：

setbit <key> <offset> <value>

例如，把每个独立用户是否访问过网站存放在Bitmaps中， 将访问的用户记做1，没有访问的用户记做0，用偏移量作为用户的id。

设置键的第offset个位的值（从0算起） ， 假设现在有20个用户，userid=1，6，11，15，19的用户对网站进行了访问， 那么当前Bitmaps初始化结果如图：

下面示例是代表 2022-07-18 这天的独立访问用户的Bitmaps：

127.0.0.1:6379> setbit unique:users:20220718 1 1
​
127.0.0.1:6379> setbit unique:users:20220718 6 1
​
127.0.0.1:6379> setbit unique:users:20220718 11 1
​
127.0.0.1:6379> setbit unique:users:20220718 15 1
​
127.0.0.1:6379> setbit unique:users:20220718 19 1

注意：

很多应用的用户id以一个指定数字（例如10000） 开头， 直接将用户id和Bitmaps的偏移量对应势必会造成一定的浪费， 通常的做法是每次做setbit操作时将用户id减去这个指定数字。

在第一次初始化Bitmaps时， 假如偏移量非常大， 那么整个初始化过程执行会比较慢， 可能会造成Redis的阻塞。

2、getbit

这个命令用于获取Bitmaps中某个偏移量的值。格式为：

getbit <key> <offset>

获取键的第offset位的值（从0开始算）。例如获取id=6的用户是否在2022-07-18这天访问过， 返回0说明没有访问过：

127.0.0.1:6379> getbit unique:users:20220718 6
127.0.0.1:6379> getbit unique:users:20220718 7

3、bitcount

这个命令用于统计字符串被设置为1的bit数。一般情况下，给定的整个字符串都会被进行计数，通过指定额外的 start 或 end 参数，可以让计数只在特定的位上进行。start 和 end 参数的设置，都可以使用负数值：比如 -1 表示最后一个位，而 -2 表示倒数第二个位，start、end 是指bit组的字节的下标数，二者皆包含。格式如下：

bitcount <key> [start end]

用于统计字符串从start字节到end字节比特值为1的数量。例如，统计id在第1个字节到第3个字节之间的独立访问用户数， 对应的用户id是11， 15， 19。

127.0.0.1:6379> bitcount unique:users:20220718 1 3

4、bitop

这个命令是一个复合操作， 它可以做多个Bitmaps的and（交集） 、 or（并集） 、 not（非） 、 xor（异或） 操作并将结果保存在destkey中。格式如下：

bitop and(or/not/xor) <destkey> [key…]

例如：2020-11-04 日访问网站的userid=1,2,5,9。

127.0.0.1:6379> setbit unique:users:20201104 1 1
127.0.0.1:6379> setbit unique:users:20201104 2 1
127.0.0.1:6379> setbit unique:users:20201104 5 1
127.0.0.1:6379> setbit unique:users:20201104 9 1

2020-11-03 日访问网站的userid=0,1,4,9。

127.0.0.1:6379> setbit unique:users:20201103 0 1
127.0.0.1:6379> setbit unique:users:20201103 1 1
127.0.0.1:6379> setbit unique:users:20201103 4 1
127.0.0.1:6379> setbit unique:users:20201103 9 1

计算出两天都访问过网站的用户数量

127.0.0.1:6379> bitop and unique:users:and:20201104_03 unique:users:20201103 unique:users:20201104
​
127.0.0.1:6379> bitcount unique:users:and:20201104_03

计算出任意一天都访问过网站的用户数量（例如月活跃就是类似这种） ， 可以使用or求并集

127.0.0.1:6379> bitop or unique:users:or:20201104_03 unique:users:20201103 unique:users:20201104
​
127.0.0.1:6379> bitcount unique:users:or:20201104_03

3.8 HyperLogLog

3.8.1 简介

在工作当中，我们经常会遇到与统计相关的功能需求，比如统计网站PV（PageView页面访问量），可以使用Redis的incr、incrby轻松实现。

但像UV（UniqueVisitor，独立访客）、独立IP数、搜索记录数等需要去重和计数的问题如何解决？这种求集合中不重复元素个数的问题称为基数问题。

解决基数问题有很多种方案：

1）数据存储在MySQL表中，使用distinct count计算不重复个数

2）使用Redis提供的hash、set、bitmaps等数据结构来处理

以上的方案结果精确，但随着数据不断增加，导致占用空间越来越大，对于非常大的数据集是不切实际的。

为了能够降低一定的精度来平衡存储空间，Redis推出了HyperLogLog。

HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是：在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定的、并且是很小的。

在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。

但是，因为 HyperLogLog 只会根据输入元素来计算基数，而不会储存输入元素本身，所以 HyperLogLog 不能像集合那样，返回输入的各个元素。

什么是基数?

比如数据集 {1, 3, 5, 7, 5, 7, 8}，那么这个数据集的基数集为 {1, 3, 5 ,7, 8}，基数(不重复元素)为5。 基数估计就是在误差可接受的范围内，快速计算基数。

3.8.2 相关命令

序号	命令语法	描述
1	PFADD key element [element ...]	添加指定元素到 HyperLogLog 中
2	PFCOUNT key [key ...]	返回给定 HyperLogLog 的基数估算值
3	PFMERGE destkey sourcekey [sourcekey ...]	将多个 HyperLogLog 合并为一个 HyperLogLog

3.8.3 示例演示

127.0.0.1:6379> PFADD course "redis"
(integer) 1
127.0.0.1:6379> PFADD course "mongodb"
(integer) 1
127.0.0.1:6379> PFADD course "mysql"
(integer) 1
127.0.0.1:6379> PFADD course "redis"
(integer) 0
redis 127.0.0.1:6379> PFCOUNT course
(integer) 3
127.0.0.1:6379> PFADD course1 "redis"
(integer) 0
redis 127.0.0.1:6379> pfmerge course course1
(integer) 1
redis 127.0.0.1:6379> PFCOUNT course
(integer) 3

将所有元素添加到指定HyperLogLog数据结构中。如果执行命令后HLL估计的近似基数发生变化，则返回1，否则返回0。

3.9 Geospatial

3.9.1 简介

Redis 3.2 中增加了对GEO类型的支持。GEO，Geographic，地理信息的缩写。该类型，就是元素的2维坐标，在地图上就是经纬度。redis基于该类型，提供了经纬度设置，查询，范围查询，距离查询，经纬度Hash等常见操作。

3.9.2 相关命令

序号	命令语法	描述
1	geoadd key longitude latitude member [longitude latitude member...]	添加地理位置（经度，纬度，名称）
2	geopos key member [member...]	获得指定地区的坐标值
3	geodist key member1 member2 [m|km|ft|mi]	获取两个位置之间的直线距离
4	georadius key longitude latitude radius [m|km|ft|mi]	以给定的经纬度为中心，找出某一半径内的元素

3.9.3 示例演示

1）添加城市坐标

例如，设置上海、重庆、深圳和北京的坐标

127.0.0.1:6379> geoadd china:city 121.47 31.23 shanghai
127.0.0.1:6379> geoadd china:city 106.50 29.53 chongqing 114.05 22.52 shenzhen 116.38 39.90 beijing

有效的经度从 -180 度到 180 度。有效的纬度从 -85.05112878 度到 85.05112878 度。
当坐标位置超出指定范围时，该命令将会返回一个错误。
已经添加的数据，是无法再次往里面添加的。

2）获取城市坐标

例如，获取上海的坐标。

127.0.0.1:6379> geopos china:city shanghai

3）用于获取两个位置之间的直线距离。

例如，获取北京和深圳的直线距离。

127.0.0.1:6379> geopos china:city beijing shanghai km

单位：
m：表示单位为米[默认值]。
km：表示单位为千米。
mi：表示单位为英里。
ft：表示单位为英尺。

4）用于获取指定坐标半径内的元素

例如，获取经度为 110，纬度为 30，半径为 1000KM 的所有城市。

127.0.0.1:6379> georadius china:city 110 30 1000 km

第四章 配置文件

下面我们介绍 Redis 配置文件（redis.conf 文件）中有哪些配置项及它们的作用。

vim 设置行号：
:set nu
取消行号：
: set nonu
​
搜索关键字：
/关键字
​
取消高亮：
: set noh

4.1 Units

配置大小单位，开头定义了一些基本的度量单位，只支持 bytes，不支持 bit。大小写不敏感。

4.2 INCLUDES

类似 JSP 程序中的 include，多实例的情况可以把公用的配置文件提取出来。

4.3 NETWORK

4.3.1 bind

默认情况下 bind=127.0.0.1 只能接受本机的访问请求。在不写的情况下，无限制接受任何 IP 地址的访问。

生产环境需要填写你应用服务器的地址。由于服务器是需要远程访问的，所以需要将其注释掉。

注意：如果开启了protected-mode，那么在没有设定bind ip且没有设密码的情况下，Redis只允许接受本机的响应。

保存配置，停止服务，重启启动查看进程，不再是本机访问了。

4.3.2 protected-mode

将本机访问保护模式设置no

4.3.3 port

端口号，默认 6379

4.3.4 tcp-backlog

设置 tcp 的 backlog，backlog 其实是一个连接队列，backlog队列总和 = 未完成三次握手队列 + 已经完成三次握手队列。

在高并发环境下你需要一个高 backlog 值来避免慢客户端连接问题。

注意：

Linux内核会将这个值减小到/proc/sys/net/core/somaxconn的值（128），所以需要确认增大/proc/sys/net/core/somaxconn和/proc/sys/net/ipv4/tcp_max_syn_backlog（128）两个值来达到想要的效果

4.3.5 timeout

一个空闲的客户端维持多少秒会关闭，0表示关闭该功能。即永不关闭。

4.3.6 tcp-keepalive

对访问客户端的一种心跳检测，每 n 秒检测一次。

单位为秒，如果设置为0，则不会进行 Keepalive 检测，建议设置成 60。

4.4 GENERAL

4.4.1 daemonize

是否为后台进程，即守护进程，用于后台启动，设置为yes。

4.4.2 pidfile

存放pid文件的位置，每个实例会产生一个不同的pid文件。

4.4.3 loglevel

指定日志记录级别，Redis 总共支持四个级别：debug、verbose、notice、warning，默认为notice。

四个级别根据使用阶段来选择，生产环境选择 notice 或者warning。

4.4.4 logfile

日志文件名称

4.4.5 databases

设定库的数量，默认16，默认数据库为0，可以使用 SELECT <dbid>命令在连接上指定数据库id。

4.5 SECURITY

4.5.1 设置密码

当设置好密码后（即把 requirepass foobared 注解解开），然后使用客户端连接服务器后，在执行 set 命令时，提示需要获取权限。

可以在命令中访问密码的查看、设置和取消。

127.0.0.1:6379> config get requirepass
1) "requirepass"
2) ""
127.0.0.1:6379> config set requirepass "123456"
OK
127.0.0.1:6379> config get requirepass
(error)NOAUTH Authentication required.
127.0.0.1:6379> auth 123456
OK
127.0.0.1:6379> get k1
"v1"
127.0.0.1:6379> config set requirepass ""
OK
127.0.0.1:6379> config get requirepass
1) "requirepass"
2) ""

注意：

在命令中设置密码，只是临时的。重启redis服务器，密码就还原了。

永久设置，需要再配置文件中进行设置。

4.6 CLIENTS

4.6.1 maxclients

设置redis同时可以与多少个客户端进行连接。默认情况下为10000个客户端。如果达到了此限制，redis则会拒绝新的连接请求，并且向这些连接请求方发出“max number of clients reached”以作回应。

4.6.2 maxmemory

建议必须设置，否则可能导致将内存占满，造成服务器宕机。

设置redis可以使用的内存量。一旦到达内存使用上限，redis将会试图移除内部数据，移除规则可以通过maxmemory-policy来指定。

如果redis无法根据移除规则来移除内存中的数据，或者设置了“不允许移除”，那么redis则会针对那些需要申请内存的指令返回错误信息，比如SET、LPUSH等。

但是对于无内存申请的指令，仍然会正常响应，比如GET等。如果你的redis是主redis（说明你的redis有从redis），那么在设置内存使用上限时，需要在系统中留出一些内存空间给同步队列缓存，只有在你设置的是“不移除”的情况下，才不用考虑这个因素。

4.6.3 maxmemory-policy

用于设置内存达到使用上限后的移除规则。有以下参数可设置：

• volatile-lru：使用LRU算法移除key，只对设置了过期时间的键；（最近最少使用）

• allkeys-lru：在所有集合key中，使用LRU算法移除key

• volatile-random：在过期集合中移除随机的key，只对设置了过期时间的键

• allkeys-random：在所有集合key中，移除随机的key

• volatile-ttl：移除那些TTL值最小的key，即那些最近要过期的key

• noeviction：不进行移除。针对写操作，只是返回错误信息

4.6.4 maxmemory-samples

用于设置样本数量，LRU算法和最小TTL算法都并非是精确的算法，而是估算值，所以你可以设置样本的大小，redis默认会检查这么多个key并选择其中LRU的那个。

一般设置3到7的数字，数值越小样本越不准确，但性能消耗越小。