Redis
NoSQL数据库
概述
NoSQL(Not Only SQL),不仅仅是SQL,泛指非关系型数据库。NoSQL不依赖业务逻辑方式存储,而以简单的key-value模式存储。因此大大的增加了数据库的扩展能力。
- 不遵循SQL标准
- 不支持ACID
- 远超SQL的性能
适用场景
- 对数据高并发读写
- 海量数据的读写
- 对数据高可扩展性
不适用场景
需要事务支持
基于sql的结构化查询存储,处理复杂的关系
安装
安装gcc环境
yum install gcc
解压压缩包
tar -zxvf redis-6.2.1.tar.gz
进入目录
cd redis-6.2.1
在此目录下执行make
make
再执行安装
make install
默认安装目录在/usr/local/bin
后台启动 设置配置文件daemonize no 为yes
redis-server /etc/redis.conf
相关知识
端口6379,默认16个数据库,初始默认使用0号库
单线程+多路IO复用技术
多路复用是指使用一个线程老检查多个文件描述符的就绪状态,比如调用select和poll函数,传入多个文件描述符,如果有一个文件描述符就绪,则返回,否则阻塞直到超时。得到就绪状态后进行真正的操作可以在同一线程里执行,也可以启动线程执行。
常用五大数据类型
Redis键(key)
keys *
查看当前库中所有key
exists <key>
判断某个key是否存在
type <key>
查看你的key是什么类型
del <key>
删除指定的key数据
unlink <key>
根据value 选择非阻塞删除(仅将keys从keyspace元数据中删除,真正的删除会在后续异步操作)
expire <key> 10
10秒:为给定的key设置过期时间
ttl <key>
查看还有多少秒过期,-1表示永不过期,-2表示已经过期
select
切换数据库
dbsize
查看当前数据库的key的数量
flushdb
清空当前库
flushall
通杀全部库
String
String是Redis最基本的类型,一个key对应一个value
String类型是二进制安全的,意味着Redis的string可以包含任何数据。比如jpg图片或者序列化对象
String类型是Redis最基本的数据类型,一个Redis中字符串value最多可以是512M
命令
set <key> <value>
添加键值对
get <key>
查询对应键值
append <key> <value>
将给定的value追加到原值的末尾
strlen <key>
key获得值得长度
setnx <key> <value>
只有key不存在得时候才能设置成功
incr <key>
将key中存储的数字值+1
decr <key>
将key中存储的数字值-1
incrby/decrby <key> <步长>
将key中存储的数字值增减,自定义步长。
原子操作是值不会被线程调度机制打断的操作,这种操作一旦开始就一直运行到结束,中间不会有任何context switch(切换到另一线程)
1、在单线程中,能够在单条指令中完成的操作都可以认为是原子操作,因为中断只能发生于指令之间。
2、在多线程中们不能被其他进程大段的操作就叫原子操作。
Redis单命令的原子性主要得益于Redis的单线程。
mset <key1> <value1> <key2> <value2>
添加多个键值对
mget <key1> <key2>
获取多个value
msetnx <key1> <value1> <key2> <value2>
同时设置多个键值对,当且仅当给定key都不存在
getrange <key><开始位置><结束位置>
获得值的范围 前包后包
setrange <key> <开始位置>
用value覆写key所存储的字符串值,从起始位置开始
setex <key><过期时间> <value>
设置键值的同时,设置过期时间,单位秒。
getset <key><value>
以旧换新
数据结构
动态字符串,内部结构实现类似于ArrayList,采用预分配冗余空间的方式,来减少内存的频繁分配
内部为当前字符串时间分配的空间一般要高于实际字符串长度,当字符串长度小于1M的空间,扩容都是加倍现有的空间,如果超过1M,扩容时一次只会多扩1M。需要注意的是字符串最大长度是512M
Redis列表(List)
单键多值
Redis列表是简单的字符串列表,按照插入顺序排序。你可以添加一个元素到列表的头部或尾部。
底层实际是个双向链表,对两端的操作性能很高,通过索引下标的操作中间的节点性能会很差
命令
lpush/rpush <key> <value> <value> <value>
从左边/右边插入值
lpop/rpop <key>
从左边/右边吐出一个值。值在键在,值光键亡
rpoplpush <key1><key2>
从key1列表右边吐出一个值,插到key2列表左边
lrange <key> <start><stop>
按照索引下标获得元素(从左到右)
lindex <key><index>
按照索引下标获得元素
llen <key>
获得列表长度
linsert <key> before/after <value> <newvalue>
在的前面后面插入插入值
lrem <key><n><value>
从左边删除n个value(从左到右)
lset <key> <index> <value>
将列表下标为index的值替换成value
数据结构
快速链表quickList
首先在列表元素较少的情况下会使用一块连续的内存存储,这个结构是ziplist,也就是压缩链表
它将所有的元素紧挨着一起存储,分配的是一块连续的内存。
当数据量比较多的时候才会改成quicklist
因为普通的链表需要的附加指针空间太大,会比较浪费空间,比如这个列表里存的只是int类型的数据,结构上还需要两个额外的指针prev和next
redis将链表和ziplist结合起来组成quicklist,也就将多个ziplist使用双向指针串起来使用,这样既满足了快速的插入删除性能,又不会出现太大的空间冗余
Redis集合(set)
redis set对外提供的功能域list类似是一个列表的功能,特殊之处在于set是可以自动排重的,当你需要存储一个列表数据,又不希望出现重复数据时,set是一个好的选择,并且set提供了判断某个成员是否在一个set集合内的重要接口,这个也是list所不能提供的
set是string类型的无序集合,它底层其实是一个value为null的hash表,所以添加删除查找的复杂度都是O(1)
命令
sadd <key><value1><value2>
将一个或多个member元素加入到集合key中,已经存在的member元素将被忽略
smembers <key>
取出该集合的所有值
sismember <key> <value>
判断集合是否含有指定value
scard<key>
返回该集合的元素个数
srem <key> <value1><value2>
删除集合中的某个元素
spop<key>
随机从该集合中吐出一个值
srandmember <key> <n>
随机从该集合中取出n个值。不会从集合中删除。
smove <resource><destination> value
把集合中的一个值从一个集合移动到另一个集合
sinter <key1><key2>
返回两个集合交集元素
sunion<key1><key2>
返回两个集合并集元素
sdiff<key1><key2>
返回两个集合的差集元素 key1中的不包含key2中的
数据结构
set的数据结构是dict字典,字典使用哈希表实现的
java中的hashset的内部实现使用的是hashmap,之不够所有的value指向同一个对象,redis的set结构也是一样他的内部也是用hash结构,所有的value都指向同一个内部值
Redis哈希(Hash)
hash是一个键值对集合
hash是一个string类型的field和value的映射表,hash特别适合用于存储对象,类似于java里面的Map<String,Object>
命令
hset <key> <field><value>
给key集合中的键赋值
hget <key1><field>
从集合取出value
hmset <key><field1><value1><field2><value2>
批量设置hash的值
hexist <key1><field>
查看哈希表key中,给定的field是否存在
hkeys <key>
列出该hash集合所有field
hvals <key>
列出该hash集合的所有value
hincrby <key><field><increment>
为哈希表key中额field 增加 指定增量
hsetnx <key><field><value>
将哈希表key中域field的值设置为value,当且仅当域field不存在
数据结构
Hash类型对应的数据结构是两种:ziplist,hashtable。当field-value长度较短且个数较少时,使用ziplist,否则使用hashtable
Redis有序集合Zset
和普通集合set相似,没有重复元素的字符串集合
有序集合的每个成员都关联了一个评分(sorce),这个评分被用于按照从最低分到最高分的方式排序集合中的成员,集合的成员是唯一的,但是评分可以重复。
因为元素是有序的,所以可以根据评分或次序来获取一个范围的元素
访问有序集合的中间元素也很快,因此可以使用有序集合作为一个没有重复成员的智能列表
命令
zadd <key><score1><value1><score2><value2>
将一个或多个member元素及其score值加入到有序集key中
zrange <key><start><stop>【withscores】
返回有序集key中,下标在
带上withscores可以让分数一起和值返回到结果集
zrangebyscore <key> <min> <max> [withscores] [limit offset count]
返回有序集合key中,所有score值介于min和max之间(包括等于min或max的成员),有序集成员按score值递增从小到大次序排列
zrevrangebyscore key max min [withscore] [limit offset count]
同上。从大到小排列
zincrby <key><increment><value>
为元素的score加上增量
zrem <key><value>
删除该集合下指定值的元素
zcount <key><min><max>
统计该集合,分数区间内的元素个数
zrank <key><value>
返回该值在集合中的排名,从0开始
数据结构
zset是Redis提供的一个特别的数据结构,一方面等价于java中的Map<String, Double>,可以给每一个元素value 赋予一个权重score,另一方面它又类似于TreeSet,内部的元素会按照权重score进行排序,可以得到每个元素的名次,还可以通过score的返回来获取元素的列表
底层使用两个数据结构
- hash,hash的作用就是关联元素value和权重score,保障元素value的唯一性,可以通过元素value找到相应的score
- 跳跃表,目的在于给元素value排序,根据score的返回获取元素列表
跳表
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8m9fjvuB-1657675688448)(D:\TyporaDocument\img\跳表.png)]
关于找51,从第二层开始找,1节点比51节点小,向后比较。21节点比51节点小,继续向后比较,后面就是null了,所以从21节点向下到第一层,在第一层,41节点比51节点小,继续向后,61节点比51节点大,所以从41向下,在第0层,51节点为要查找的节点,节点被找到,共查找4次
跳表比有序链表效率要高
配置文件
支持远程连接
注释掉bind 127.0.0.1 -::1
protected-mode yes改为no,支持远程访问
Redis的发布订阅
Redis发布订阅是一种消息通信模式:发送者发送消息,订阅者接收消息
Redis客户端可以订阅任意数量的频道
发布订阅命令行实现
打开一个客户端订阅channel1
subscribe channel1
打开另一个客户端,给channel1发布消息hello
publish channel1 hello
返回1是订阅者数量
打开第一个客户端可以看到发送的消息
发布的消息没有持久化,如果在订阅的客户端收不到hello,只能收到订阅后发布的消息
Redis6新数据类型
BitMaps
可以实现对位的操作
- Bitmaps本身不是一种数据类型,实际上他就是字符串,但是他可以对字符串的位进行操作
- Bitmaps单独提供了一套命令,所以在Redis中使用Bitmaps和使用字符串的方法不太相同,可以把Bitmaps想象成一个以位为单位的数组,数组的每个单元只能存储0和1,数组的下标在Bitmaps中叫做偏移量。
命令
setbit <key> <offset> <value>
设置Bitmaps中某个偏移量的值
getbit <key> <offset>
获取某个偏移量的值
bitcount <key> [start end]
统计字符串被设置为1的bit数,一般情况下,给定的整个字符串都会被计数,通过指定额外的start或end参数,可以让计数旨在特定的位上进行。start和end参数的设置,都可以使用负数值,二者皆包含
bittop and(or/not/xor) <destkey> [key...]
bittop是一个符合操作,它可以做多个Bitmaps的and、or、not、xor操作,并将结果保存到destkey中
HyperLogLog
工作中,我们经常会遇到与统计相关的功能需求,比如统计网站页面访问量,可以使用Redis的incr、increby实现
求集合中不重复元素个数的问题被称为基数问题
解决方案
- 数据存储在Mysql中,使用distinct count计算不重复个数
- 使用redis提供的hash、set、bitmaps等数据结构处理
但是以上方案随着数据增加导致占用空间越来越大,hyperloglog降低一定精度来平衡存储空间
hyperloglog是用来做基数统计的算法,hyperloglog的优点是在输入元素的数量或者体积非常大时,计算基数所需的空间总是固定的、并且是很小的
在redis中每个hyperloglog键只需要花费12kb内存,就可以计算接近2^64个不同元素的基数,但是只会根据输入元素来计算基数,不会存储输入元素本身,所以不能像集合那样返回输入的各个元素
基数
比如数据集{1,3,5,7,5,7,8},那么数据集的基数集是{1,3,5,7,8}.基数为5(不重复元素的个数),基数估计就是在误差可接受的范围内,快速计算基数
命令
pfadd <key> <element> [element...]
添加指定元素到HyperLogLog中
pfcount <key> [key...]
计算HLL的近似基数,可以计算多个HLL,比如HLL存储每天的UV,计算一周的UV可以使用7天UV合并计算即可
pfmerge [sourcekey]
将一个或多个JHLL合并后的结果存储在另一个HLL中,比如每月活跃用户可以使用每天的活跃用户来合并计算可得
Geospatial
经纬度,地理位置操作
命令
geoadd
添加地理位置(经度,纬度,名称)
两极无法直接添加,一般会下载城市数据,直接通过java 程序导入,有效的经度从-180到180,有效的纬度从-85.05到85.05
当坐标位置超出指定范围时,该命令将返回一个错误
已经添加的数据无法再次添加
geopos [member…]
获得指定地区的坐标值
geodist 【m|km|ft|mi】
获得两个位置之间的直线距离
georadius radius m|km|ft|mi
以给定的经纬度为中心,找出某半径内的元素
Jedis案例
<dependencies>
<dependency>
<groupId>redis.clients</groupId>
<artifac