1.Redis单线程处理请求为啥性能这么高?(10万QPS)
(1) 单线程操作(CPU不需要创建/销毁线程,避免上下文切换,无并发资源竞争的问题,减少锁的消耗)。
(2) redis的底层数据结构做了很多优化,设计巧妙,数据存储类似于HashMap的,读写操作都是O(1)的时间复杂度
(3) Redis是完全基于内存的,绝大部分请求是纯粹的内存操作,数据存在内存中,非常快速。
(4) 使用多路I/O复用模型,非阻塞IO;
注意:上述每一项都可以单出来扯很久,篇幅有限,我在这里不打算深入。了解越多你会发现redis的各种设计是有多方面考虑的权衡。
如果想充分利用多核CPU性能可以多开几个Redis实例。
2.Redis有哪些基本数据类型?
(1) String 类型是 Redis 中最常使用的类型,内部的实现是通过 SDS(Simple Dynamic String )来存储的。
SDS 类似于 Java 中的 ArrayList,可以通过预分配冗余空间的方式来减少内存的频繁分配。
这是最简单的类型,就是普通的 set 和 get,做简单的 KV 缓存。
但是真实的开发环境中,有人可能会把很多比较复杂的结构也统一转成String去存储使用,比如有的人他就喜欢把对象
或者List转换为JSON字符串进行存储,拿出来再反序列化啥的。
String应用场景广泛,不仅是Redis的基本类型,也是各个语言的基本类型,可以用于计数器,共享用户Session。
(2) Hash:这个是类似 Map 的一种结构,这个一般就是可以将结构化的数据,比如一个对象
(前提是这个对象没嵌套其他的对象)给缓存在 Redis 里,然后每次读写缓存的时候,可以就操作 Hash 里的某个字段。
但是这个的场景其实还是多少单一了一些,因为现在很多对象都是比较复杂的,比如你的商品对象.
可能里面就包含了很多属性,其中也有对象。用得不多。
(3) List 是有序列表,可以通过 List 存储一些列表型的数据结构,类似粉丝列表、文章的评论列表之类的东西。
比如可以通过 lrange 命令,读取某个闭区间内的元素,可以基于 List 实现分页查询,这个是很棒的一个功能,
基于 Redis 实现简单的高性能分页,可以做类似微博那种下拉不断分页的东西,性能高,就一页一页走。
List本身就是我们在开发过程中比较常用的数据结构了,热点数据更不用说了。
也可以搞个简单的消息队列,消息队列:Redis的链表结构,可以轻松实现阻塞队列,可以使用左进右出的命令组成来完成队列的设计。
比如:数据的生产者可以通过Lpush命令从左边插入数据,多个数据消费者,可以使用BRpop命令阻塞的“抢”列表尾部的数据。
文章列表或者数据分页展示的应用。比如,我们常用的博客网站的文章列表,当用户量越来越多时,而且每一个用户都有自己的文章列表,
而且当文章多时,都需要分页展示,这时可以考虑使用Redis的列表,列表不但有序同时还支持按照范围内获取元素,
可以完美解决分页查询功能。大大提高查询效率。
(4) Set 是无序集合,会自动去重的那种。
直接基于 Set 将系统里需要去重的数据扔进去,自动就给去重了,如果你需要对一些数据进行快速的全局去重,
你当然也可以基于 JVM 内存里的 HashSet 进行去重,但是如果你的某个系统部署在多台机器上呢?
得基于Redis进行全局的 Set 去重。
可以基于 Set 玩儿交集、并集、差集的操作,比如交集吧,我们可以把两个人的好友列表整一个交集,看看俩人的共同好友是谁。
(5) Sorted set 是排序的 Set,去重但可以排序,写进去的时候给一个分数,自动根据分数排序。
有序集合的使用场景与集合类似,但是set集合不是自动有序的,而Sorted set可以利用分数进行成员间的排序,
而且是插入时就排序好。所以当你需要一个有序且不重复的集合列表时,就可以选择Sorted set数据结构作为选择方案。
排行榜:有序集合经典使用场景。例如视频网站需要对用户上传的视频做排行榜,榜单维护可能是多方面:按照时间、按照播放量、按照获得的赞数等。
用Sorted Sets来做带权重的队列,比如普通消息的score为1,重要消息的score为2,
然后工作线程可以选择按score的倒序来获取工作任务。让重要的任务优先执行。
微博热搜榜,就是有个后面的热度值,前面就是名称
在安装Redis前,云服务器实例是完全纯净的。首先执行下面的命令下载并安装redis:
//下载
wget http://download.redis.io/releases/redis-4.0.9.tar.gz
//解压
tar xzf redis-4.0.9.tar.gz
//进入解压后的目录
cd redis-4.0.9
//安装到当前目录
make
如果make失败,一般是系统中还未安装gcc造成的,因为Redis是用C语言写成的,所以需要先通过yum install gcc安装C语言环境。
或者试试make install
安装Redis后,先别慌着启动,因为Redis对远程连接要求比较苛刻,具体到以下几点:
Redis服务默认只让本机访问,因为现在Redis是在人家阿里云的服务器上,所以需要修改成让外网也能访问。主要是修改Redis的默认配置文件reidis.conf。
vim redis.conf
1.注释掉bind 127.0.0.1这一行,改成bind 0.0.0.0 这样可以使所有的ip访问redis
2.修改 protected-mode,值改为no
3.为了Redis的安全,需要把#requirepass foobared去掉注释,foobared改为自己的密码,
例如可以改为requirepass 123456
4.配置实例得安全组 也就是把6379端口开起来
经过以上几步后,理论上就可以通过外网访问到云服务器上的Redis了。如果现在去启动Redis的服务端,
会发现Redis只能是前台启动,在这里可以通过修改redis.conf里的daemonize为yes让redis开启后台启动。
因为redis采用的是单进程多线程的模式。当redis.conf中选项daemonize设置成yes时,代表开启守护进程模式。
在该模式下,redis会在后台运行,并将进程pid号写入至redis.conf选项pidfile设置的文件中
此时redis将一直运行,除非手动kill该进程。
在修改完配置文件后,我们进入redis-4.0.9的scr目录,执行以下命令启动Redis的服务端:
./redis-server ../redis.conf #后台启动redis
ps -ef | grep redis #查看运行状态
./redis-cli -p 6379 shutdown #关闭redis
这样Redis就在云服务器上以后台的方式启动了,接下来我在本地快速搭建了一个SpringBoot整合Redis的案例。在application.yml添加如下内容:
spring:
redis:
#设置redis主机ip
host: #你的云服务器IP地址
#连接服务的端口号
port: 6379
#连接redis服务的密码
password: #刚刚在redis.conf中设置的密码
最后maven导依赖
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>
下面我举例购物车场景中使用
@Autowired
private RedisTemplate<Object,Object> redisTemplate;
//从redis中取数据
Cart cart = (Cart) redisTemplate.opsForValue().get("cart");
//存数据到数据库中
redisTemplate.opsForValue().set("cart",cart);
Redis操作命令总结
一、key pattern 查询相应的key
(1)redis允许模糊查询key 有3个通配符 *、?、[]
(2)randomkey:返回随机key
(3)type key:返回key存储的类型
(4)exists key:判断某个key是否存在
(5)del key:删除key
(6)rename key newkey:改名
(7)renamenx key newkey:如果newkey不存在则修改成功
(8)move key 1:将key移动到1数据库
(9)ttl key:查询key的生命周期(秒)
(10)expire key 整数值:设置key的生命周期以秒为单位
(11)pexpire key 整数值:设置key的生命周期以毫秒为单位
(12)pttl key:查询key 的生命周期(毫秒)
(13)perisist key:把指定key设置为永久有效
二、字符串类型的操作
(1)set key value [ex 秒数] [px 毫秒数] [nx/xx]
如果ex和px同时写,则以后面的有效期为准
nx:如果key不存在则建立
xx:如果key存在则修改其值
(2)get key:取值
(3)mset key1 value1 key2 value2 一次设置多个值
(4)mget key1 key2 :一次获取多个值
(5)setrange key offset value:把字符串的offset偏移字节改成value
如果偏移量 > 字符串长度,该字符自动补0x00
(6)append key value :把value追加到key 的原值上
(7)getrange key start stop:获取字符串中[start, stop]范围的值
对于字符串的下标,左数从0开始,右数从-1开始
注意:当start>length,则返回空字符串
当stop>=length,则截取至字符串尾
如果start所处位置在stop右边,则返回空字符串
(8)getset key nrevalue:获取并返回旧值,在设置新值
(9)incr key:自增,返回新值,如果incr一个不是int的value则返回错误,incr一个不存在的key,则设置key为1
(10)incrby key 2:跳2自增
(11)incrbyfloat by 0.7: 自增浮点数
(12)setbit key offset value:设置offset对应二进制上的值,返回该位上的旧值
注意:如果offset过大,则会在中间填充0
offset最大到多少
2^32-1,即可推出最大的字符串为512M
(13)bitop operation destkey key1 [key2…] 对key1 key2做opecation并将结果保存在destkey上
opecation可以是AND OR NOT XOR
(14)strlen key:取指定key的value值的长度
(15)setex key time value:设置key对应的值value,并设置有效期为time秒
三、链表操作
Redis的list类型其实就是一个每个子元素都是string类型的双向链表,链表的最大长度是2^32。list既可以用做栈,也可以用做队列。
list的pop操作还有阻塞版本,主要是为了避免轮询
(1)lpush key value:把值插入到链表头部
(2)rpush key value:把值插入到链表尾部
(3)lpop key :返回并删除链表头部元素
(4)rpop key: 返回并删除链表尾部元素
(5)lrange key start stop:返回链表中[start, stop]中的元素
(6)lrem key count value:从链表中删除value值,删除count的绝对值个value后结束
count > 0 从表头删除 count < 0 从表尾删除 count=0 全部删除
(7)ltrim key start stop:剪切key对应的链接,切[start, stop]一段并把改制重新赋给key
(8)lindex key index:返回index索引上的值
(9)llen key:计算链表的元素个数
(10)linsert key after|before search value:在key 链表中寻找search,并在search值之前|之后插入value
(11)rpoplpush source dest:把source 的末尾拿出,放到dest头部,并返回单元值
应用场景: task + bak 双链表完成安全队列
业务逻辑: rpoplpush task bak
接收返回值并做业务处理
如果成功则rpop bak清除任务,如果不成功,下次从bak表取任务
(12)brpop,blpop key timeout:等待弹出key的尾/头元素
timeout为等待超时时间,如果timeout为0则一直等待下去
应用场景:长轮询ajax,在线聊天时能用到
四、hashes类型及操作
Redis hash 是一个string类型的field和value的映射表,它的添加、删除操作都是O(1)(平均)。
hash特别适用于存储对象,将一个对象存储在hash类型中会占用更少的内存,并且可以方便的存取整个对象。
配置: hash_max_zipmap_entries 64 #配置字段最多64个
hash_max_zipmap_value 512 #配置value最大为512字节
(1)hset myhash field value:设置myhash的field为value
(2)hsetnx myhash field value:不存在的情况下设置myhash的field为value
(3)hmset myhash field1 value1 field2 value2:同时设置多个field
(4)hget myhash field:获取指定的hash field
(5)hmget myhash field1 field2:一次获取多个field
(6)hincrby myhash field 5:指定的hash field加上给定的值
(7)hexists myhash field:测试指定的field是否存在
(8)hlen myhash:返回hash的field数量
(9)hdel myhash field:删除指定的field
(10)hkeys myhash:返回hash所有的field
(11)hvals myhash:返回hash所有的value
(12)hgetall myhash:获取某个hash中全部的field及value
五、集合结构操作
特点:无序性、确定性、唯一性
(1)sadd key value1 value2:往集合里面添加元素
(2)smembers key:获取集合所有的元素
(3)srem key value:删除集合某个元素
(4)spop key:返回并删除集合中1个随机元素(可以坐抽奖,不会重复抽到某人)
(5)srandmember key:随机取一个元素
(6)sismember key value:判断集合是否有某个值
(7)scard key:返回集合元素的个数
(8)smove source dest value:把source的value移动到dest集合中
(9)sinter key1 key2 key3:求key1 key2 key3的交集
(10)sunion key1 key2:求key1 key2 的并集
(11)sdiff key1 key2:求key1 key2的差集
(12)sinterstore res key1 key2:求key1 key2的交集并存在res里
六、有序集合
概念:它是在set的基础上增加了一个顺序属性,这一属性在添加修改元素的时候可以指定,
每次指定后,zset会自动按新的值调整顺序。可以理解为有两列的mysql表,一列存储value,
一列存储顺序,操作中key理解为zset的名字。
和set一样sorted,sets也是string类型元素的集合,不同的是每个元素都会关联一个double型的score。
sorted set的实现是skip list和hash table的混合体。
当元素被添加到集合中时,一个元素到score的映射被添加到hash table中,所以给定一个元素获取score的开销是O(1)。
另一个score到元素的映射被添加的skip list,并按照score排序,所以就可以有序地获取集合中的元素。
添加、删除操作开销都是O(logN)和skip list的开销一致,redis的skip list 实现是双向链表,这样就可以逆序从尾部去元素。
sorted set最经常使用方式应该就是作为索引来使用,我们可以把要排序的字段作为score存储,对象的ID当元素存储。
(1)zadd key score1 value1:添加元素
(2)zrange key start stop [withscore]:把集合排序后,返回名次[start,stop]的元素 默认是升续排列 withscores 是把score也打印出来
(3)zrank key member:查询member的排名(升序0名开始)
(4)zrangebyscore key min max [withscores] limit offset N:集合(升序)排序后取score在[min, max]内的元素,并跳过offset个,取出N个
(5)zrevrank key member:查询member排名(降序 0名开始)
(6)zremrangebyscore key min max:按照score来删除元素,删除score在[min, max]之间
(7)zrem key value1 value2:删除集合中的元素
(8)zremrangebyrank key start end:按排名删除元素,删除名次在[start, end]之间的
(9)zcard key:返回集合元素的个数
(10)zcount key min max:返回[min, max]区间内元素数量
(11)zinterstore dest numkeys key1[key2…] [WEIGHTS weight1 [weight2…]] [AGGREGATE SUM|MIN|MAX]
求key1,key2的交集,key1,key2的权值分别是weight1,weight2
聚合方法用 sum|min|max
聚合结果 保存子dest集合内
注意:weights,aggregate如何理解?
答:如果有交集,交集元素又有score,score怎么处理?aggregate num->score相加,
min最小score,max最大score,另外可以通过weights设置不同的key的权重,交集时 score*weight
七、服务器相关命令
(1)ping:测定连接是否存活
(2)echo:在命令行打印一些内容
(3)select:选择数据库
(4)quit:退出连接
(5)dbsize:返回当前数据库中key的数目
(6)info:获取服务器的信息和统计
(7)monitor:实时转储收到的请求
(8)config get 配置项:获取服务器配置的信息
config set 配置项 值:设置配置项信息
(9)flushdb:删除当前选择数据库中所有的key
(10)flushall:删除所有数据库中的所有的key
(11)time:显示服务器时间,时间戳(秒),微秒数
(12)bgrewriteaof:后台保存rdb快照
(13)bgsave:后台保存rdb快照
(14)save:保存rdb快照
(15)lastsave:上次保存时间
(16)shutdown [save/nosave]
注意:如果不小心运行了flushall,立即shutdown nosave,关闭服务器,然后手工编辑aof文件,去掉文件中的flushall相关行,然后开启服务器,就可以倒回原来是数据。如果flushall之后,系统恰好bgwriteaof了,那么aof就清空了,数据丢失。
(17)showlog:显示慢查询
问:多慢才叫慢?
答:由slowlog-log-slower-than 10000,来指定(单位为微秒)
问:服务器存储多少条慢查询记录
答:由slowlog-max-len 128,来做限制