Redis
一、Redis简介
1.1 NoSQL
NoSQL(Not -Only SQL), 泛指非关系型数据库,作为关系型数据库的良好补充。对于传统的关系型数据库应对超大规模和高并发的SNS(社交网络服务)类型的web纯动态网站已经显得力不从心,暴露了很多难以克服的问题,例如:
- 对数据库高并发读写的需求
- 对海量数据的高效率存储和访问的需求
- 对数据库的高可扩展性和高可用性的需求
1.2 NoSQL 的类型
1.3 Redis 是什么
- Redis是 2009年由Merzia 公司创始人Salvatore Sanfilippo 开发的数据库。
- Redis是用ANSI C编写的一个开源的高性能键值对(key-value)数据库。并且可以在大多数POSIX(可移植操作系统接口(Portable Operating System Interface of UNIX,缩写为 POSIX ))系统中使用,例如Linux,* BSD,OS X,而无需外部依赖。它通过提供多种键值数据类型来适应不同场景下的存储需求,目前为止Redis支持的键值数据类型如下:
- 字符串类型
- 散列类型
- 列表类型
- 集合类型
- 有序集合类型
- Redis 与其他key -value 缓存产品的特点
- Redis支持数据持久化(MemCache无持久化能力),可以将内存数据落盘,重启的时加载使用。
- Redis不仅仅支持简单的key-value类型数据,同时提供list,set,zset,hash等数据结构
- Redis支持备份,即master-slave模式的数据备份
Redis提供的API支持:C、C++、C#、Clojure、Java、JavaScript、Lua、PHP、Python、Ruby、Go、Scala、Perl等多种语言。
1.4 Redis 的应用场景
目前全球最大的Redis用户是新浪微博,在新浪有200多台物理机,400多个端口正在运行Redis,有+4G的数据在Redis上来为微博用户提供服务
- 数据缓存(热点数据)
- 单点登录
- 秒杀、抢购
- 需要精确设定过期时间的应用
- 计数器应用
- 实时性要求的高并发读写
- 消息系统Pub/Sub
- 构建队列
1.5 Redis 的优缺点
- 优点
1. 对数据高并发读写(基于内存)
2. 对海量数据的高效率存储和访问(基于内存)
3. 对数据的可扩展性和高可用性
4. 垂直扩展:提升硬件
5. 水平扩展:集群 - 缺点
redis(ACID处理非常简单)无法做到太复杂的关系数据库模型
二、 Redis的安装
2.1 redis 安装
2.1.1 下载
- 官网下载Redis文件,Redis官网点击下载 通过客户端将文件上传到/opt/work目录(关于文件位置,另一文件有说明https://blog.csdn.net/qq_42742861/article/details/100867764)
- 或者使用wget直接下载Redis(第一步完成,此步跳过)
wget http://download.redis.io/releases/redis-5.0.0.tar.gz - 进入/opt/work
1.tar -zxvf redis-5.0.0.tar.gz // 解压
2.cd redis-5.0.0
3.make // 编译
4.make PREFIX=/opt/work/redis install //指定位置安装 - 源码目录分析
/opt/work/redis-5.0.0/redis.conf redis核心配置文件。
/opt/work/redis-5.0.0/src/redis3.2/utils/下,有redis的服务启动脚本
2.1.2 配置和启动
redis.conf是redis的配置文件,redis.conf在redis源码目录。注意修改默认端口。默认为6379。
-
拷贝源码中配置文件(/opt/work/redis-5.0.0/redis.conf)到安装目录(/opt/work/redis)。
mkdir /opt/work/redis/conf //创建配置文件的目录
cp /opt/work/redis-5.0.0/redis.conf /opt/work/redis/conf/ // 复制配置文件
redis.conf还需要修改一下内容- 增加远程连接:修改配置文件 注释绑定本地连接 。注释 bind 127.0.0.1
- 增加访问密码:配置文件中,requirepass foobared 修改为 requirepass “你的密码”
- 设置后台启动:daemonize no 修改为 daemonize yes
-
启动
./bin/redis-server 启动redis这样直接执行Redis-server启动Redis服务,是在前台直接运行。如果关闭当前窗口,Redis服务也就关闭了。正常情况,需要后台启动服务。则需要修改配置文件
2.1.3 后台启动Redis
修改redis.confi配置文件,将daemonize no 修改为 daemonize yes
vim ./conf/redis.conf
// 修改daemonize yes
执行启动命令
./bin/redis-server 启动redis
// 或者指定配置文件启动
./bin.redis-server ./conf/redis.cof
// 查看服务是否启动
ps -ef | grep redis
// 或者
ps aux | grep redis
2.1.4 启动多个redis 进程
-
启动是指定端口
// 一台服务器,可以运行多个端口的redis进程 ./bin/redis-server ../conf/redis.cof --port 6380
-
创建多个redis目录
创建多个redis目录,以端口命名,推荐此方式// 比如创建redis_port6380,redis_port6381两个目录,将redis安装目录下文件拷贝到这两个目录。 cd /opt/work // 进入安装目录 // 递归复制redis目录 cp -a redis ./redis_port6380 cp -a redis ./redis_port6381 // 启动 ./bin/redis-server ./conf/redis.conf ./bin/redis-server ../redis_port6381/conf/redis.conf
2.1.5 redis客户端
redis的安装目录中有redis的客户端,即redis-cli(Redis Command Line Interface),它是Redis自带的基于命令行的Redis客户端
// 启动客户端
./redis-cli -h 127.0.0.1 -p 6379 // 启动本地 查看6379端口的redis
如果是用./redis-cli默认是本地的默认端口
2.2 远程连接
默认不允许远程连接,需要修改一下信息才可以进行修改
将redis.conf中的bind 127.0.0.1进行注释
vim /opt/work/redis/conf/redis.conf 编辑配置文件
/opt/work/redis/bin/redis-server ../conf/redis.conf 启动redis
/opt/work/redis/bin/redis-cli 打开客户端,连接成功,再进行下一步
config set requirepass lx 设置密码(这种方式只适用于该次服务,如果需要该服务永久设置密码,是在conf中设置requirepass "你的密码")
quit 退出客户端
/opt/work/redis/bin/redis-cli 打开客户端
auth lx 输入密码
2.3 配置说明
2.3.1 redis.conf 配置文件详解
1. Redis默认不是以守护进程的方式运行,可以通过该配置项修改,使用yes启用守护进程
daemonize no
2. 当Redis以守护进程方式运行时,Redis默认会把pid写入/var/run/redis.pid文件,可以通过pidfile指定
pidfile /var/run/redis.pid
3. 指定Redis监听端口,默认端口为6379,作者在自己的一篇博文中解释了为什么选用6379作为默认端口,因为6379在手机按键上MERZ对应的号码,而MERZ取自意大利歌女Alessia Merz的名字
port 6379
4. 绑定的主机地址
bind 127.0.0.1
5.当 客户端闲置多长秒后关闭连接,如果指定为0,表示关闭该功能
timeout 0
6. 指定日志记录级别,Redis总共支持四个级别:debug、verbose、notice、warning,默认为verbose
loglevel verbose
7. 日志记录方式,默认为标准输出,如果配置Redis为守护进程方式运行,而这里又配置为日志记录方式为标准输出,则日志将会发送给/dev/null
logfile stdout
8. 设置数据库的数量,默认数据库为0,可以使用SELECT <dbid>命令在连接上指定数据库id
databases 16
9. 指定在多长时间内,有多少次更新操作,就将数据同步到数据文件,可以多个条件配合
save <seconds> <changes>
Redis默认配置文件中提供了三个条件:
save 900 1
save 300 10
save 60 10000
分别表示900秒(15分钟)内有1个更改,300秒(5分钟)内有10个更改以及60秒内有10000个更改。
10. 指定存储至本地数据库时是否压缩数据,默认为yes,Redis采用LZF压缩,如果为了节省CPU时间,可以关闭该选项,但会导致数据库文件变的巨大
rdbcompression yes
11. 指定本地数据库文件名,默认值为dump.rdb
dbfilename dump.rdb
12. 指定本地数据库存放目录
dir ./
13. 设置当本机为slav服务时,设置master服务的IP地址及端口,在Redis启动时,它会自动从master进行数据同步
slaveof <masterip> <masterport>
14. 当master服务设置了密码保护时,slav服务连接master的密码
masterauth <master-password>
15. 设置Redis连接密码,如果配置了连接密码,客户端在连接Redis时需要通过AUTH <password>命令提供密码,默认关闭
requirepass foobared
16. 设置同一时间最大客户端连接数,默认无限制,Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件描述符数,如果设置 maxclients 0,表示不作限制。当客户端连接数到达限制时,Redis会关闭新的连接并向客户端返回max number of clients reached错误信息
maxclients 128
17. 指定Redis最大内存限制,Redis在启动时会把数据加载到内存中,达到最大内存后,Redis会先尝试清除已到期或即将到期的Key,当此方法处理 后,仍然到达最大内存设置,将无法再进行写入操作,但仍然可以进行读取操作。Redis新的vm机制,会把Key存放内存,Value会存放在swap区
maxmemory <bytes>
18. 指定是否在每次更新操作后进行日志记录,Redis在默认情况下是异步的把数据写入磁盘,如果不开启,可能会在断电时导致一段时间内的数据丢失。因为 redis本身同步数据文件是按上面save条件来同步的,所以有的数据会在一段时间内只存在于内存中。默认为no
appendonly no
19. 指定更新日志文件名,默认为appendonly.aof
appendfilename appendonly.aof
20. 指定更新日志条件,共有3个可选值:
no:表示等操作系统进行数据缓存同步到磁盘(快)
always:表示每次更新操作后手动调用fsync()将数据写到磁盘(慢,安全)
everysec:表示每秒同步一次(折衷,默认值)
appendfsync everysec
21. 指定是否启用虚拟内存机制,默认值为no,简单的介绍一下,VM机制将数据分页存放,由Redis将访问量较少的页即冷数据swap到磁盘上,访问多的页面由磁盘自动换出到内存中(在后面的文章我会仔细分析Redis的VM机制)
vm-enabled no
22. 虚拟内存文件路径,默认值为/tmp/redis.swap,不可多个Redis实例共享
vm-swap-file /tmp/redis.swap
23. 将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储的(Redis的索引数据 就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。默认值为0
vm-max-memory 0
24. Redis swap文件分成了很多的page,一个对象可以保存在多个page上面,但一个page上不能被多个对象共享,vm-page-size是要根据存储的 数据大小来设定的,作者建议如果存储很多小对象,page大小最好设置为32或者64bytes;如果存储很大大对象,则可以使用更大的page,如果不 确定,就使用默认值
vm-page-size 32
25. 设置swap文件中的page数量,由于页表(一种表示页面空闲或使用的bitmap)是在放在内存中的,,在磁盘上每8个pages将消耗1byte的内存。
vm-pages 134217728
26. 设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的,可能会造成比较长时间的延迟。默认值为4
vm-max-threads 4
27. 设置在向客户端应答时,是否把较小的包合并为一个包发送,默认为开启
glueoutputbuf yes
28. 指定在超过一定的数量或者最大的元素超过某一临界值时,采用一种特殊的哈希算法
hash-max-zipmap-entries 64
hash-max-zipmap-value 512
29. 指定是否激活重置哈希,默认为开启(后面在介绍Redis的哈希算法时具体介绍)
activerehashing yes
30. 指定包含其它的配置文件,可以在同一主机上多个Redis实例之间使用同一份配置文件,而同时各个实例又拥有自己的特定配置文件
include /path/to/local.conf
2.3.2 bin目录文件介绍
- redis-server 启动服务
- redis-cli 访问到redis的控制台
- redis-benchmark 性能测试的工具
- redis-check-aof aof文件进行检测的工具
- redis-check-dump rdb文件检查工具
- redis-sentinel sentinel 服务器配置
2.4 多数据支持
默认支持16个库;可以理解为一个单独的存储空间,和通常的关系型数据库有所区别:
-
redis不支持自定义数据库名词
-
每个数据库不能单独设置授权
-
每个数据库之间并不是完全隔离的。 可以通过flushall命令清空redis实例面的所有数据库中的数据
-
可以通过select dbid 去选择不同的数据库命名空间,dbid的取值范围是0-15。
三、Redis 的使用
3.1 常用命令
- 获得一个符合匹配规则的键名列表
keys pattern [? / * /[]] 例如 keys f*匹配f开头 - 判断一个键是否存在 , exists key 如:exists foo
- type key 去获得这个key的数据结构类型 type foo
3.2 各种数据结构的使用
3.2.1 字符类型
一个字符类型的key默认存储的最大容量是512M。
- 赋值 :set key value (多次设置key,value值会覆盖))
- 原子类型赋值: setnx keyname redis :(not exist) 如果keyname不存在,则设值成功,返回1,如果keyname存在,则返回0。
- 原子类赋值并设置过期时间: setex keyname 10 redis:(expired) 设置keyname的值为redis,过期时间为10秒,10秒后keyname清除(key也清除)
- 取值: get keyname
- 删值:del keyname
- 批量写:mset k1 v1 k2 v2
- 批量读:mget k1 k2 k3
- 一次性设值和读取(返回旧值,写上新值):getset keyname value
- 数值类型自增减(增幅为1):incr keyname ; decr keyname
- 数据类型自增减(增幅指定):incrby keyname variable
- 字符串拼接:append key value
- 字符串长度:strlen key
key的命名实例(仅参考)
对象类型:对象id:对象属性:对象子属性
3.2.2 Hash类型
Hash类型是String类型的field和value的映射表,或者说是一个String集合。它特别适合存储对象,相比较而言,将一个对象类型存储在Hash类型要存储在String类型里占用更少的内存空间,并方整个对象的存取。所以适合储存对象
- 设值:hset hashname field value(hset是设值命令,hashname是集合名字,field是字段名,value是值)
- 取值:hget hashname field
- 批量设置:hmset hashname field1 value1 field2 value2 ….
- 批量取值:hmget hashname field1 field2 …
hsetnx :和setnx大同小异
hincrby:指定字段增加指定值
hexists:是否存在key,如果存在返回,不存在返回0 - 删除:hdel 删除指定的hash的field
hlen hashname:返回hash集合里的所有的键数值(size)
hkeys hashname:返回hash里所有的字段
hvals hashname:返回hash的所有value
hgetall hashname:返回hash里所有的key和value
3.2.3 List类型
List类型是一个链表结构的集合,其主要功能有push、pop、获取元素等。更详细的说,List类型是一个双端链表的节后,我们可以通过相关的操作进行集合的头部或者尾部添加和删除元素,List的设计非常简单精巧,即可以作为栈,又可以作为队列,满足绝大多数的需求。
- lpush:从头部加入元素(栈,先进后出)
- rpush:从尾部加入元素(队列,先进先出)
- linsert:插入元素
- lrange key start stop :获取指定索引内的所有元素
- lset:将制定下表的元素替换掉
- lrem:删除元素,移除n个,返回删除的个数n
- ltrim:保留指定key的值范围内的数据
- lpop:从list的头部删除元素,并返回删除元素。
- rpop:从list的尾部删除元素,并返回删除元素
- rpoplpush list1 list2:从list1尾部删除元素,并将被移除的元素添加到list2的头部,返回被移除的元素,可以实现MQ
- llen:返回元素个数,列表的长度
- lindex:返回名称为key的list中index位置的元素
应用场景:可以用来做分布式消息队列
3.2.4 Zset 集合 (有序集合)
有序集合和集合一样也是string类型元素的集合,且不允许重复的成员。不同的是每个元素都会关联一个double类型的分数。redis正是通过分数来为集合中的成员进行从小到大的排序。
有序集合的成员是唯一的,但分数(score)却可以重复。
集合是通过哈希表实现的,所以添加,删除,查找的复杂度都是O(1)。 集合中最大的成员数为 232 - 1 (4294967295, 每个集合可存储40多亿个成员)。
常用命令
- zadd key score member:向有序集合中添加一个元素,该元素如果存在则更新顺序,如果分值相同元素不同会同时存在两个元素。
- zrange key start stop [withscores] 去获得元素。 withscores是可以获得元素的分数
- zrem :删除zset名称key中的member元素
- zrank 返回有序集合中指定成员的索引(从小到大排序)
- zrevrank 返回有序集合中指定成员的排名,有序集成员按分数值递减(从大到小)排序
- zcard 返回集合里所有元素的个数
- zcount 返回集合中score在给定区间中的数量
- zincrby key increment member: 有序集合中对指定成员的分数加上增量 increment
- zrangebyscore key min max [WITHSCORES] [LIMIT] :通过分数返回有序集合指定区间内的成员
- zremrangebyrank key start stop :移除有序集合中给定的排名区间的所有成员
- zremrangebyscore key min max:移除有序集合中给定的分数区间的所有成员
如果两个元素的score是相同的话,那么根据(0<9<A<Z<a<z) 方式从小到大
3.3 其他高级命令
- keys * : 返回满足的所有键 ,可以模糊匹配
- exists :是否存在指定的key,存在返回1,不存在返回0
- expire:设置某个key的过期时间
- del:删除某个key
- ttl:查看剩余时间,当key不存在时,返回 -2;存在但没有设置剩余生存时间时,返回 -1,否则,以秒为单位,返回 key 的剩余生存时间。
- persist:取消过去时间
- select : 选择数据库 数据库为0-15(默认一共16个数据库)
设计成多个数据库实际上是为了数据库安全和备份 - move key dbindex : 将当前数据中的key转移到其他数据库
- randomkey:随机返回一个key
- rename:重命名key
- echo:打印命令
- dbsize:查看数据库的key数量
- info:查看数据库信息
- config get * 实时传储收到的请求,返回相关的配置
- flushdb :清空当前数据库
- flushall :清空所有数据库