尚硅谷:Redis6
NoSQL 数据库简介
-
解决 CPU 及内存压力
-
解决 IO 压力
1.2 NoSQL 数据库
1.2.1 NoSQL 数据库概述
NoSQL(NoSQL = Not Only SQL), 意思 不仅仅是SQL,泛指非关系型的数据库
NoSQL 不依赖业务逻辑方式存储,而以简单的key-value模式存储。因为大大的增加了数据库的扩展能力
- 不遵循 SQL标准
- 不支持 ACID
- 远超于 SQL 的性能
1.2.2 NoSQL 适用场景
- 对数据高并发的读写
- 海量数据的读写
- 对数据高可扩展性的
1.2.3 NoSQL 不合适场景
- 需要事务支持
- 基于 sql 的结构化查询存储,处理复杂的关系,需要即席查询
2.Redis 概念安装
- Redis是一个开源的key-value存储系统
- 和Memcached 类似,它支持存储的 value 类型相对更多,包括
String
(字符串)、list
(链表)、set
(集合)、zset
(sorted set --有序集合)和hash
(哈希类型) - 这些数据类型都支持 push/pop、add/remove 及取交集并集和差集及更丰富的操作,而且这些操作都是原子性
- Redis支持各种不同的
排序
- 与 memcached 一样,为了保证效率,数据都是
缓存在内存
中 - 区别的是 Redis 会
周期性
的把更新的数据写入磁盘
或者把修改操作写入追加的记录文件 - 并且在基础上实现了
master-slave(主从)
同步
1.安装
下载地址 :https://redis.io/
利用Xftp将文件啦入Linux服务器
进入文件夹: cd /usr/local/src/software/Redis6
安装 gcc :yum install gcc
解压Redis6 : tar -zxvf redis-6.2.3.tar.gz // redis-6.2.3.tar.gz 是你下载的文件名称
进入目录:cd redis-6.2.3
在检查gcc : gcc --version
可以 make指令了: make
完成是这样子的
如果不是 解决办法: make distclean 在来一次 make
出现界面了就可以安装了:make install
会默认安装在:/usr/local/bin
1.2 安装目录:/usr/local/bin
查看默认安装目录:
redis-benchmark:性能测试工具,可以在自己本子运行,看看自己本子性能
redis-check-aof:修复有问题的 AOF
文件,rdb 和 aof
redis-check-rdb:修复有问题的 dump.rdb 文件
redis-sentinel: 集群使用
redis-server
:Redis 服务器启动命令
redis-cli
:客户端,操作入口
1.3 启动
前台启动(不推荐):redis-server
后台启动(推荐)
进入Redis文件夹:/usr/local/src/software/Redis6/redis-6.2.3
输入 ls 查看文件 redis.conf
复制redis.conf:cp redis.conf /etc/redis.conf
跳到 etc目录 ls 查看
改etc下的 redis.conf文件:vi redis.conf
搜索daemonize no 改成 daemonize yes
按esc 在输入:wq
退出保存
在回到 redis指令文件夹 :/usr/local/bin
启动指令:redis-server /etc/redis.conf
启动后检查:ps -ef | grep redis
可以使用客户端指令:redis-cli
redis 关闭:一 redis-cli shutdown 二 查看进程 kill -9 进程号 杀掉
3. Redis 介绍相关知识
默认16个数据库,类似数组下标从0开始,初始默认使用0号库
使用命令 select 来切换数据库。如:select 8
统一密码管理,所有库同样的密码
dbsize 查看当前数据库的key的数量
flushdb 清空当前库
flushall 通杀全部库
栗子:
Redis 是单线程 + 多路 IO 复用技术
多路复用是指使用一个线程来检查多个文件描述符(Socket)的就绪状态,比如调用select 和 poll 函数,传入多个文件描述符,如果有一个文件描述符就绪,则返回,否则阻塞直到超时。得到就绪状态后进行真正的操作可以在同一个线程里执行,也可以启动线程执行(比如使用线程池)
串行 vs 多线程 + 锁(memcached)vs 单线程+多路IO复用(Redis)
(与Mencache三点不同:支持多数据类型,支持持久化,单线程+多路IO复用)
3.1 Redis 键(Key)
操作指令:
-
查看当前库所有 key (匹配:keys * 1):**keys ***
-
判断某个 key 是否存在:exists key
-
查看你的 key 是什么类型:type key
-
删除指定的 key 数据:del key
-
根据 value 选择非阻塞删除:unlink key
-
仅将 keys 从 keyspace 元数据中删除,真正的删除会在后续异步操作
-
10秒钟:为给定的 key 设置过期时间:expire key 10
-
查看还有多少秒过期,-1 表示永不过期,-2 表示已过期:ttl key
栗子:
- 命令切换数据库:select value
- 查看当前数据库的 key 的数量:dbsize
- 清空当前库:flushdb
- 通杀全部库:flushall
4.基本类型
4.1 Redis 字符串(String)
String 是 Redis 最基本的类型,你可以理解成与 Memcached 一模一样的类型,一个 key 对应一个 value
String 类型是二进制安全的。意味着 Redis 的 string 可以包含任何数据。比如 jpg 图片或序列化的对象
Stirng 类型是 Redis 最基本的数据类型,一个 Redis 中字符串 value 最多可以是 521M
常用操作指令
- *NX:当数据库中 key 不存在时, 可以将 key-value 添加数据库
- *XX:当数据库中 key 存在时,可以将 key-value 添加数据库,与 NX 参数互斥
- *EX:key 的超时秒数
- *PX:key 的超时毫秒数, 与 EX 互斥
- get < key> 查询对应键值
- append < key>< value> 将给定的< value>追加到原值的末尾
- strlen < key> 获得值的长度
- setnx < key>< value> 只有在key 不存在时, 设置 key 的值
incr < key>
将 key 中储存的数字值增 1
只能对数字值操作,如果为空,新增值为1
decr < key>
将 key 中储存的数字值减1
只能对数字值操作,如果为空,新增值为-1
- incrby / decrby <步长> 将 key 中储存的数字值增减。自定义步长
原子性操作:
指不会被线程调度机制打断的操作;
这种操作一旦开始,就一直运行到结束,中间不会有任何 contextswitch(切换到另一个线程)
(1)在单线程中,能够在单条指令中完成的操作都可以认为是“原子操作”,因为中断只能发生于指令之间
(2)在多线程中,不能被其它进程(线程)打断的操作就叫原子操作
Redis 单命令的原子性主要得益于 Redis 的单线程
栗子:
不是原子操作会相互影响
mset < key1>< value1>< key2>< value2>…
同时设置一个或多个key-value 对
mget < key1>< key2>< key3>…
获取一个或多个value
msetnx < key1>< value1>< key2>< value2>…
设置一个或多个 key-value 对,当且仅当所有给定 key 都不存在
原子性,有一个失败都失败
栗子:
getrange < key><起始位置><结束位置>
获得值的范围,类似 java 中的 substring , 前包,后包
setrange < key> <起始位置>< value>
用< value>> 覆写< key>所储存的字符串值,从<起始位置>开始(索引从0开始)
setex < key><过期时间>< value>
设置键值的同时,设置过期时间,单位秒
getset < key>< value>
以新换旧,设置了新值同时获取旧值
String 数据结构
String 的数据结构为简单动态字符串(Simple Dynamic String,缩写 SDS)。是可以修改的字符串,内部结构实现上类似于 Java 的 ArrayList ,采用预分配冗余空间的方式来减少内存的频繁分配
4.2 Redis 列表(List)
单键多值
Redis 列表是简单的字符串列表,按照插入顺序排序。你可以添加一个元素到列表的头部(左边)或者尾部(右边)
它的底层实际是个双向链表,对两端的操作性能很高,通过索引下标的操作中间的节点性能会较差
常用操作指令
- lpush/rpush < key>< value1>< value2>< value3>… 从左边/右边插入一个或多个值
- lpop/rpop < key>从左边/右边吐出一个值。**值在键在,值光键亡
- lrange < key>< start>< stop>按照索引下标获得元素(从左到右)
- rpoplpush 从列表右边吐出一个值,插到列表左边
- lrange < key> 0 -1 0 左边第一个 , -1右边第一个 , (0-1 表示获得所有)
- lindex < key>< index> 按照索引下标获得元素(从左到右)
- llen < key> 获得列表长度
- linsert < key> before < value>< newvalue> 在的后面插入插入值
- lrem < kye>< n>< value> 从左边删除n个value(从左到右)
- lset< key>< index>< value> 将列表 key 下标为 index 的值替换成 value
List 数据结构
List 的数据结构为快速链表 quickList
列表元素较少的情况下会使用一块连续的内存存储,这个结构是 ziplist,也即是压缩列表
它将所有的元素紧挨着一起存储,分配的是一块连续的内存。
当数据量比较多的时才会改成 quicklist
因为普通的列表需要的附加指针空间太大,会比较浪费空间。比如这个列表里存的只是 int 类型的数据,结构上还需要两个额外的指针 prev 和 next
4.3 Redis 集合(Set)
简介
Redis set 对外提供的功能与list 类似是一个列表的功能,特殊之处在于 set 是可以自动排重的,当你需要存储一个列表数据,又不希望出现重复的数据时,set 是一个很好的选择,并且 set 提供了判断某个成员是否在一个 set 集合内的重要接口,这个也是 list 所不能提供的
Redis 的 Set 是 string 类型的无序集合。它底层其实是一个 value 为 null 的 hash表,所以添加,删除,查找的**
复杂度都是o(1)
**一个算法,随着数据的增加,执行时间的长短,如果是o(1),数据增加,查找数据的时间不变
常用命令
- sadd < key>< value1>< value2>…
- 将一个或多个 member 元素加入到集合 key 中,已经存在的 member 元素将被忽略
- smembers < key> 取出该集合的所有值
- sismember< key>< value> 判断集合< key>是否包含有该< value>值,有1 , 没有 0
- scard< key> 返回该集合的元素个数
- srem< key>< value1>< value2>… 删除集合中的某个元素
- spop< key>
随机从该集合中吐出一个值
- srandmember 随机从该集合中取出 n 个值。不会从集合中删除
栗子 :
- 先清空: flushdb
- clear
- smove < source >< destination> value 把集合中一个值从一个集合移动到另一个集合
- sinter < key1>< key2> 返回两个集合的交集元素
- sunion < key1>< key2> 返回两个集合的并集**元素
- sdiff < key1>< key2> 返回两个集合的差集元素(key1 中的 , 不包含 key2 中的)
Set 数据结构
Set 数据结构是 dict 字典, 字典是用哈希表实现的
Java 中 HashSet 的内部实现使用的是 HashMap ,只不过所有的 value 都指向同一个对象
Redis 的 set 结构也是一样 , 它的内部也使用 hash 结构 , 所有的 value 都指向同一个内部值
Redis哈希(Hash)
简介
Redis hash 是一个键值对集合
Redis hash 是一个 string 类型的 field 和 value 的映射表,hash 特别适合用于存储对象
类似 Java 里面的 Map<String,Object>
用户 ID 为查找的 key,存储的 value 用户对象包含姓名,年龄,生日等信息,如果用普通的key/value 结构来存储的
常用命令
常用命令
- **hset < key >< field >< value > ** 给< key >集合中的 < field >键赋值< value >
- hget < key1 >< field > 从< key1 >集合< field >取出 value
- hmset < key1 >< field >< value1 >< field2 >< value2 >… 批量设置 hash 的值
- hexists< key1 >< field > 查看哈希表 key 中, 给定域 field 是否存在
- hkeys< key> 列出该 hash 集合的所有 field
- hvals< key> 列出该 hash 集合的所有 value
- hincrby< key>< field>< increment> 为哈希表 key 中的域 field 的值加上增量 1 -1
- hsetnx< key >< field >< value > 将哈希表 key 中的域 field 的值设置为 value,当且仅当域 field 不存在
Hash 数据结构
Hash 类型对应的数据结构是两种:ziplist(压缩列表), hashtable(哈希表)。当field-value 长度较短且个数较少时, 使用 ziplist,否则使用 hashtable
4.4 Redis 有序集合 Zset(sorted set)
简介
一个没有重复元素的字符串集合
不同之处是有序集合的每个成员都关联了一个评分(score),这个评分(score)被用来按照从最低分到最高分的方式排序集合中的成员。集合的成员是唯一的,但是评分可以是重复了
因为元素是有序的,所以你也可以很快的根据评分(score)或者次序(position)来获取一个范围的元素
访问有序集合的中间元素也是非常快的,因为你能够使用有序集合作为一个没有重复成员的智能列表
常用命令
常用命令
zadd < key >< score1 >< value1 > < value2 >…
将一个或多个 member 元素及其 score 值加入到有序集 key 当中
zrange < key >< start >< stop > [WITHSCORES]
返回有序集 key 中, 下标在
之间的元素 带 WITHSCORES,可以让分数一起和值返回到结果集
zrangebyscore key
minmax
[withscores] [limit offset count]返回有序集 key 中,所有 score 值介于 min 和 max 之间(包括等于 min 或 max)的成员
有序集成员按 score 值递增(从小到大)次序排序
zrevrangebyscore key maxmin [withscores] [limit offset count]
同上,改为从大到小排列
Zset 数据结构
SortedSet(zset) 是 Redis 提供的一个非常特别的数据结构,一方面它等于 java 的数据结构 Map<String,Double>, 可以给每一个元素 value 赋予一个权重 score ,另一方面它又类似于 TreeSet,内部的元素会按照权重 score 进行排序,可以得到每个元素的名次,还可以通过 score 的范围来获取元素的列表
zset 底层使用了两个数据结构
- (1)hash,hash的作用就是关联元素 value 和 权重 score, 保障元素 value 的唯一性,可以通过元素 value 找到相应的 score 值
- (2)跳跃表,跳跃表的目的在于给元素 value 排序,根据 score 的范围获取元素列表
跳跃表(跳表)
1、简介
有序集合在生活比较常见,例如根据成绩对学生排名,根据得分对玩家排名等。对于有序集合的底层实现,可以用数组、平衡树、链表等。数组不便元素的插入删除;平衡树或红黑树效率高但是结构复杂;链表查询需要查询遍历所有效率低。Redis 采用的是跳跃表。跳跃表效率堪比红黑树,实现远比红黑树简单
2.实例
- 有序链表
- 跳跃表
5. Redis6-配置文件-详解
打开配置文件
exit 退出redis-cli
vi /etc/redis.conf
5.1 Units 单位
配置大小单位,开头定义了一些基本的度量单位,只支持 bytes , 不支持 bit 大小写不敏感
5.2 INCLUDES 单位
类似 jsp中的 include,多实例的情况可以把公用的配置文件提取出来
默认情况 bind=127.0.0.1 只能接受本地的访问请求
不写的情况下,无限制接受任何 ip 地址的访问
生产环境肯定要写你应用服务器的地址 ;服务器是需要远程访问的,所以需要将其注释掉
如果开启了 protected-mode , 那么在没有设定 bind ip 且没有设密码的情况下 ,Redis 只允许接受本机就响应
提示 注了 bind ip
protected-mode yes 改为 protected-mode no 允许接受外面服务器
5.3 Port
端口号 ,默认 6379
5.4 tcp-backlog
设置 tcp 的 backlog , backlog 其实是一个连接队列 , backlog 队列总和=未完成三次握手队列 + 已经完成三次握手队列
在高并发环境下你需要一个高 backlog 值来避免慢客户端连接问题
注意 Linux 内核会将这个值减小到
/proc/sys/net/core/somaxconn
的值( 128 ),所以需要确认增大/proc/sys/net/core/somaxconn
和 `/proc/sys/net/ipv4/tcp_max_syn_backlog(128)两个值来达到想要的效果
- 设置超时 时间
- Redis 心跳时间
5.5 GENERAL
- 后台启动:daemonize yes
- pidfile 存放 pid 文件的位置,每个实例会产生一个不同的 pid 文件 :
-
日志级别:loglevel notice
- debug 会打印出很多信息,适用于开发和测试阶段
- verbose (冗长的):包含很多不太有用的信息,但比debug要清爽一些
- notice 适用于生产模式
- warning 警告信息
-
默认日志文件输出路径: logfile “”
- 访问密码的查看、设置和取消:# requirepass foobared
- 命令行设置的 只是临时密码
- 需要在配置文件配置的永久
5.6 CLIENTS
maxclients 10000 设置客户端连接数量 默认1000
maxmemory 设置内存使用量 必须设置否则,将内存占满,造成服务器宕机
设置 Redis 可以使用的内存量。 到达内存使用上限,redis 将会试图移除内部数据,移除规则可以通过
maxmemory-policy
来指定
- 样本数量