简介
引入
问题现象
- 海量用户
- 高并发
罪魁祸首——关系型数据库
- 性能瓶颈:磁盘IO性能低下
- 扩展瓶颈:数据关系复杂,扩展性差,不便于大规模集群
解决思路:NoSQL
- 降低磁盘IO次数,越低越好 :内存存储
- 去除数据间关系,越简单越好 :不存储关系,仅存储数据
NoSQL
NoSQL:即 Not-Only SQL( 泛指非关系型的数据库),作为关系型数据库的补充。
作用:应对基于海量用户和海量数据前提下的数据处理问题。
特征:
- 可扩容,可伸缩
- 大数据量下高性能
- 灵活的数据模型
- 高可用
常见 Nosql 数据库:
- Redis
- memcache
- HBase
- MongoDB
Redis简介
概念:Redis (REmote DIctionary Server) 是用 C 语言开发的一个开源的高性能**键值对(key-value)**数据库。
特点:
- 数据间没有必然的关联关系
- 内部采用单线程机制进行工作
- 高性能。官方提供测试数据,50个并发执行100000 个请求,读的速度是110000 次/s,写的速度是81000次/s。
- 多数据类型支持
- 字符串类型 string
- 列表类型 list
- 散列类型 hash
- 集合类型 set
- 有序集合类型 sorted_set
- 持久化支持。可以进行数据灾难恢复
Redis 的应用 :
- 为热点数据加速查询(主要场景),如热点商品、热点新闻、热点资讯、推广类等高访问量信息等
- 任务队列,如秒杀、抢购、购票排队等
- 即时信息查询,如各位排行榜、各类网站访问统计、公交到站信息、在线人数信息(聊天室、网站)、设
备信号等 - 时效性信息控制,如验证码控制、投票控制等
- 分布式数据共享,如分布式集群架构中的 session 分离
- 消息队列
- 分布式锁
Redis基本操作
1、信息添加:设置 key,value 数据
set key value
#示例
set name abc
2、信息查询 :根据 key 查询对应的 value,如果不存在,返回空(nil)
get key
#示例
get name
3、清除屏幕信息
clear
4、退出客户端命令行模式
quit
exit
<ESC>
5、帮助 :获取命令帮助文档,获取组中所有命令信息名称
help 命令名称
help @组名
数据存储类型
redis 数据存储格式
- redis 自身是一个 Map,其中所有的数据都是采用 key : value 的形式存储
- 数据类型指的是存储的数据的类型,也就是 value 部分的类型,key 部分永远都是字符串
Redis 数据类型(5种常用)
- String-String
- hash-HashMap
- list-LinkedLisk
- set-HashSet
- sorted_set-TreeSet
String
- 存储的数据:单个数据,最简单的数据存储类型,也是最常用的数据存储类型
- 存储数据的格式:一个存储空间保存一个数据
- 存储内容:通常使用字符串,如果字符串以整数的形式展示,可以作为数字操作使用
string 类型数据的基本操作
1、添加/修改数据
set key value
2、获取数据
get key
3、删除数据
delete key
4、 添加/修改多个数据
mset key1 value1 key2 value2...
5、获取多个数据
mget key1 key2...
6、获取数据字符个数(字符串长度)
strlen key
7、追加信息到原始信息后部(如果原始信息存在就追加,否则新建)
append key value
单数据操作与多数据操作的选择:尽量选取多数据操作,从而减少命令的总传输时间。但是如果数据量太大,要进行切分,当值阻塞
string 类型数据的扩展操作一:自增
业务场景
大型企业级应用中,分表操作是基本操作,使用多张表存储同类型数据,但是对应的主键 id 必须保证统一性 ,不能重复。Oracle 数据库具有 sequence 设定,可以解决该问题,但是 MySQL数据库并不具有类似的机制,那么如何解决?
解决方案
- Redis可以用于控制数据库表的主键id,为数据库表主键提供生成策略,保障分布式数据库表的主键唯一性
- 此方案适用于所有数据库,且支持数据库集群
1、设置数值数据增加指定范围的值
incr key #将key的值增加1
incrby key increment #将key的值增加increment,可以为负数,但是不能为小数
incrbyfloat key increment #可以位小数
2、设置数值数据减少指定范围的值
decr key #将key的值减少1
decrby key increment #将key的值减少increment
string作为数值操作
- string在redis内部存储默认就是一个字符串,当遇到增减类操作incr,decr时会转成数值型进行计算。
- redis所有的操作都是原子性的,采用单线程处理所有业务,命令是一个一个执行的,因此无需考虑并发 带来的数据影响。
- 注意:按数值进行操作的数据,如果原始数据不能转成数值,或超越了redis 数值上限范围,将报错。 9223372036854775807(java中long型数据最大值,Long.MAX_VALUE)
string 类型数据的扩展操作二:控制数据有效时间
业务场景
“最强女生”启动海选投票,只能通过微信投票,每个微信号每 4 小时只能投1票。
电商商家开启热门商品推荐,热门商品不能一直处于热门期,每种商品热门期维持3天,3天后自动取消热门。
新闻网站会出现热点新闻,热点新闻最大的特征是时效性,如何自动控制热点新闻的时效性。
解决方案
Redis可以控制数据的生命周期,通过数据是否失效控制业务,适用于所有具有时效性限定控制的操作
设置数据具有指定的生命周期 :
setex key seconds value
psetex key milliseconds value
string 类型应用场景 :结构型数据
业务场景
主页高频访问信息显示控制,例如新浪微博大V主页显示粉丝数与微博数量
解决方案
redis应用于各种结构型和非结构型高热度数据访问加速
1、 在redis中为大V用户设定用户信息,以用户主键和属性值作为key,后台设定定时刷新策略即可
- eg: user:id:3506728370:fans → 12210947
- eg: user:id:3506728370:blogs → 6164
- eg: user:id:3506728370:focuss → 83
2、在redis中以json格式存储大V用户信息,定时刷新(也可以使用hash类型
- eg: user:id:3506728370 → {“id”:3506728370,“name”:“春晚”,“fans”:12210862,“blogs”:6164, “focus”:83}
key 的设置约定
数据库中的热点数据key命名惯例 :
string 类型数据操作的注意事项
- 数据操作不成功的反馈与数据正常操作之间的差异
- 表示运行结果是否成功
- (integer) 0 → false 失败
- (integer) 1 → true 成功
- 表示运行结果值
- (integer) 3 → 3 3个
- (integer) 1 → 1 1个
- 数据未获取到:(nil)等同于null
- 数据最大存储量 :512MB
- 数值计算最大范围(java中的long的最大值) :9223372036854775807
Hash
value为hash类型
特点:
- 新的存储需求:对一系列存储的数据进行编组,方便管理,典型应用存储对象信息
- 需要的存储结构:一个存储空间保存多个键值对数据
- hash类型:底层使用哈希表结构实现数据存储
- 如果field数量较少,存储结构优化为类数组结构
- 如果field数量较多,存储结构使用HashMap结构
hash 类型数据的基本操作
1、添加/修改数据
hset key field value
2、获取数据
hget key field
hgetall key
3、删除数据
hdel key field1
4、添加/修改多个数据
hmset key field1 value1 field2 value2 field3 value3
5、获取多个数据
hmget key field1 field2 …
6、获取哈希表中字段的数量
hlen key
7、获取哈希表中是否存在指定的字段
hexists key field
hash 类型数据扩展操作
1、获取哈希表中所有的字段名或字段值
hkeys key
hvals key
2、设置指定字段的数值数据增加指定范围的值
hincrby key field increment
hincrbyfloat key field increment
hash 类型应用场景
业务场景
电商网站购物车设计与实现
业务分析
- 仅分析购物车的redis存储模型 添加、浏览、更改数量、删除、清空
- 购物车与数据库间持久化同步、购物车与订单间关系、未登录用户购物车信息存储不进行讨论
解决方案
- 以客户id作为key,每位客户创建一个hash存储结构存储对应的购物车信息
- 将商品编号作为field,购买数量作为value进行存储
- 添加商品:追加全新的field与value
- 浏览:遍历hash
- 更改数量:自增/自减,设置value值
- 删除商品:删除field
- 清空:删除key
hash 类型数据操作的注意事项
- hash类型下的value只允许存储字符串,不允许存储其他数据类型,不存在嵌套的情况。如果数据未获取到, 对应的值为(nil)
- 每个 hash 可以存储 2^32 - 1 个键值对
- hash类型十分贴近对象的数据存储形式,并且可以灵活添加删除对象属性。但hash设计初衷不是为了存 储大量对象而设计的,切记不可滥用,更不可以将hash作为对象列表使用
- hgetall 操作可以获取全部属性,如果内部field过多,遍历整体数据效率就很会低,有可能成为数据访问 瓶颈
List
-
数据存储需求:存储多个数据,并对数据进入存储空间的顺序进行区分
-
需要的存储结构:一个存储空间保存多个数据,且通过数据可以体现进入顺序
-
list类型:保存多个数据,底层使用双向链表存储结构实现
-
redis 应用于具有操作先后顺序的数据控制
list 类型数据基本操作
1、添加/修改数据
lpush key value1 [value2...]
rpush key value1 [value2...]
2、获取数据
lrange key start stop
lindex key index
llen key
3、获取并移除数据
lpop key
rpop key
list 类型数据扩展操作
1、规定时间内获取并移除数据 :可以用于实现消息队列
blpop key1 [key2] timeout
brpop key1 [key2] timeout
brpoplpush source destination timeout
2、移除指定数据
lrem key count value
list 类型数据操作注意事项
- list中保存的数据都是string类型的,数据总容量是有限的,最多2^32 - 1 个元素 (4294967295)。
- list具有索引的概念,但是操作数据时通常以队列的形式进行入队出队操作,或以栈的形式进行入栈出栈操作
- 获取全部数据操作结束索引设置为-1 (-2代表倒数第二个,以此类推)
- list可以对数据进行分页操作,通常第一页的信息来自于list,第2页及更多的信息通过数据库的形式加载
list 类型应用场景
业务场景
twitter、新浪微博、腾讯微博中个人用户的关注列表需要按照用户的关注顺序进行展示,粉丝列表需要将最 近关注的粉丝列在前面
新闻、资讯类网站如何将最新的新闻或资讯按照发生的时间顺序展示?
企业运营过程中,系统将产生出大量的运营数据,如何保障多台服务器操作日志的统一顺序输出?
解决方案
redis 应用于最新消息展示
- 依赖list的数据具有顺序的特征对信息进行管理
- 使用队列模型解决多路信息汇总合并的问题
- 使用栈模型解决最新消息的问题
Set
- 新的存储需求:存储大量的数据,在查询方面提供更高的效率
- 需要的存储结构:能够保存大量的数据,高效的内部存储机制,便于查询
- set类型:与hash存储结构完全相同,仅存储键,不存储值(nil),并且值是不允许重复的
set 类型数据的基本操作
1、添加数据
sadd key member1 [member2]
2、获取全部数据
smembers key
3、删除数据
srem key member1 [member2]
4、获取集合数据总量
scard key
5、判断集合中是否包含指定数据
sismember key member
set 类型数据的扩展操作
1、redis 应用于随机推荐类信息检索,例如热点歌单推荐,热点新闻推荐,热卖旅游线路,应用APP推荐, 大V推荐等
业务场景 :每位用户首次使用今日头条时会设置3项爱好的内容,但是后期为了增加用户的活跃度、兴趣点,必须让用户 对其他信息类别逐渐产生兴趣,增加客户留存度,如何实现?
业务分析 :
- 系统分析出各个分类的最新或最热点信息条目并组织成set集合
- 随机挑选其中部分信息
- 配合用户关注信息分类中的热点信息组织成展示的全信息集合
解决方案 :
- 随机获取集合中指定数量的数据
srandmember key [count]
- 随机获取集合中的某个数据并将该数据移出集合
spop key [count]
2、redis 应用于同类信息的关联搜索,二度关联搜索,深度关联搜索 (如显示共同关注,共同好友 )
业务场景 :
- 新浪微博为了增加用户热度,提高用户留存性,需要微博用户在关注更多的人,以此获得更多的信息或热门 话题,如何提高用户关注他人的总量?
- 脉脉为了促进用户间的交流,保障业务成单率的提升,需要让每位用户拥有大量的好友,事实上职场新人不 具有更多的职场好友,如何快速为用户积累更多的好友?
解决方案 :
- 求两个集合的交、并、差集
sinter key1 [key2]
sunion key1 [key2]
sdiff key1 [key2]
- 求两个集合的交、并、差集并存储到指定集合中
sinterstore destination key1 [key2]
sunionstore destination key1 [key2]
sdiffstore destination key1 [key2]
- 将指定数据从原始集合中移动到目标集合中
smove source destination member
set 类型数据操作的注意事项
- set 类型不允许数据重复,如果添加的数据在 set 中已经存在,将只保留一份
- set 虽然与hash的存储结构相同,但是无法启用hash中存储值的空间
set的应用场景
- set可以用于对同类型数据进行快速去重
- set应用于随机推荐类信息检索,例如热点歌单推荐,热点新闻推荐,热卖旅游线路,应用APP推荐, 大V推荐等
- set应用于同类信息的关联搜索,二度关联搜索,深度关联搜索 (如显示共同关注,共同好友 )
- set应用于基于黑白名单设定的服务控制
sorted_set
- 新的存储需求:数据排序有利于数据的有效展示,需要提供一种可以根据自身特征进行排序的方式
- 需要的存储结构:新的存储模型,可以保存可排序的数据
- sorted_set类型:在set的存储结构基础上添加可排序字段
sorted_set 类型数据的基本操作
1、添加数据
zadd key score1 value1 [score2 value2...]
2、获取全部数据
zrange key start stop [WITHSCORES] #升序,加上WITHSCORES会输出score
zrevrange key start stop [WITHSCORES] #降序
3、删除数据
zrem key value
4、 按条件获取数据
zrangebyscore key min max [WITHSCORES] [LIMIT]
zrevrangebyscore key max min [WITHSCORES]
5、 条件删除数据
zremrangebyrank key start stop
zremrangebyscore key min max
注意:
- min与max用于限定搜索查询的条件,也就是score
- start与stop用于限定查询范围,作用于索引,表示开始和结束索引 (排序所在的位置)
- offset与count用于限定查询范围,作用于查询结果,表示开始位置和数据总量
6、获取集合数据总量
zcard key #查询总数
zcount key min max #查询再min和max范围内的个数
7、集合交、并操作
zinterstore destination numkeys key [key ...]
zunionstore destination numkeys key [key ...]
sorted_set 类型数据的扩展操作
1、redis 应用于计数器组合排序功能对应的排名
业务场景 :
- 各类综艺选秀海选投票
- 各类资源网站TOP10(电影,歌曲,文档,电商,游戏等)
- 直播室活跃度统计
- 游戏好友亲密度
业务分析 :
- 为所有参与排名的资源建立排序依据
解决方案 :
- 获取数据对应的索引(排名)
zrank key member
zrevrank key member
- score值获取与修改
zscore key member #获取member的score
zincrby key increment member #增加increment
sorted_set 类型数据操作的注意事项
- score保存的数据存储空间是64位,如果是整数范围是-9007199254740992~9007199254740992
- score保存的数据也可以是一个双精度的double值,基于双精度浮点数的特征,可能会丢失精度,使用时 候要慎重
- sorted_set 底层存储还是基于set结构的,因此数据不能重复,如果重复添加相同的数据,score值将被反复覆盖,保留最后一次修改的结果
sorted_set 类型应用场景
业务场景 : 当任务或者消息待处理,形成了任务队列或消息队列时,对于高优先级的任务要保障对其优先处理,如 何实现任务权重管理。
解决方案 :对于带有权重的任务,优先处理权重高的任务,采用score记录权重即可
注意:如果权重条件过多时,需要对排序score值进行处理,保障score值能够兼容2条件或者多条件?,例如外贸 订单优先于国内订单,总裁订单优先于员工订单,经理订单优先于员工订
- 因score长度受限,需要对数据进行截断处理,尤其是时间设置为小时或分钟级即可
- 先设定订单类别,后设定订单发起角色类别,整体score长度必须是统一的,不足位补0。第一排序规则首 位不得是0
- 例如外贸101,国内102,经理004,员工008。
- 员工下的外贸单score值为101008(优先)
- 经理下的国内单score值为102004
数据类型实践案例
案例
1、业务场景:对试用用户的调用API的使用行为进行限速,限制 每个用户每分钟最多发起10次调用
解决方案 :
- 设置计数器,记录调用次数,用于控制业务执行次数。以用户id作为key,使用次数作为value
setex uid:110 60 1
-
在调用前获取次数,判断是否超过限定次数
- 不超过次数的情况下,每次调用计数+1
incr uid:110
-
为计数器设置生命周期为指定周期,例如1秒/分钟,自动清空周期内使用次数
解决方案改良 :
- 取消最大值的判定,利用incr操作超过最大值抛出异常的形式替代每次判断是否大于最大值
- 判断是否为nil,则为初次调用,设置为Max-次数 ,如果不是,计数+1
- 遇到异常即+操作超过上限,视为使用达到上限
2、业务场景 :使用微信的过程中,当微信接收消息后,会默认将最近接收的消息置顶,当多个好友及关注的订阅号同时发 送消息时,该排序会不停的进行交替。同时还可以将重要的会话设置为置顶。一旦用户离线后,再次打开微 信时,消息该按照什么样的顺序显示?
解决方案 :
- 依赖list的数据具有顺序的特征对消息进行管理,将list结构作为栈使用
- 对置顶与普通会话分别创建独立的list分别管理
- 当某个list中接收到用户消息后,将消息发送方的id从list的一侧加入list(此处设定左侧)
- 多个相同id发出的消息反复入栈会出现问题,在入栈之前无论是否具有当前id对应的消息,先删除对应id
- 推送消息时先推送置顶会话list,再推送普通会话list,推送完成的list清除所有数据
- 消息的数量,也就是微信用户对话数量采用计数器的思想另行记录,伴随list操作同步更新