windows系统环境
目录
Redis入门
问题现象:
- 海量用户
- 高并发
罪魁祸首---关系型数据库
[数据库是保存在磁盘上的,磁盘的IO性能(也就是读写磁盘的性能较低),
CPU的数据交换和Cache进行交换,Cache和内存进行交换,而内存又和硬盘进行数据交换。
所以,这样一层一层的访问,性能可不就低了,当数据量访问大的时候,就容易崩]
- 性能瓶颈:磁盘IO性能低下
- 扩展瓶颈:数据关系复杂,扩展性差,不便于大规模集群。
[关系是相互之间交叉,所以可扩展性差]
解决思路
- 降低磁盘的IO次数,越低越好 ----- 内存存储
- 去除数据间关系,越简单越好 ----- 不存储关系,仅存储数据
其实就是Nosql
Nosql
Nosql:即 Not-Only SQL(泛指非关系型型的数据库,不是具体的某一个),作为关系型数据库的补充。(定位)
作用:应对基于海量用户和海量数据前提下(高并发)的数据处理问题。
特征(了解,都是相对来说的):
- 可扩容,可伸缩
- 大数据量下高性能
- 灵活的数据模型
- 高可用
常见的Nosql数据库:
- Redis
- memcache
- HBase
- MongoDB
解决方案(电商场景):
- 商品基本信息(eg:名称、价格、厂商等固定的独一份信息) --- MySQL
- 商品附加信息(eg:描述、详情、评论) --- MongoDB(文档处理、高速存储的)
- 图片信息 (eg:专用的存储服务器) --- 分布式文件系统
- 搜索关键字 (eg:专用的存储服务器) --- ES、Lucene、solr
- 热点信息 (eg:这类信息才是NoSql要解决的) --- Redis、memcache 、tair
- 高频
- 波段性
Redis简介
概念:Redis(REmote DIctionary Server) 是用C语言开发的一个开源的高性能的键值对(key-value)数据库。内存级数据库。
特征:
- 数据间没有必然的关联关系
- 内部采用单线程机制进行工作
- 高性能。官方提供数据:50个并发执行100000个请求,v(读)=110000次/s,v(写)=81000次/s.
- 多数据类型支持(数据格式)
- 字符串类型(String)
- 列表类型(list)
- 散列类型(hash)
- 集合类型(set)
- 有序集合类型(sorted_set)
5.持久化支持。可以进行数据灾难的恢复。
Redis的应用
- 为热点数据加速查询(主要场景),如热点商品、热点新闻、热点资讯、推广类等高访问量信息等。
- 任务队列,如秒杀、抢购、购票排队等。
- 即时信息查询,如各类排行榜、各类网站访问统计、公交车到站信息、在线人数信息(聊天室、网站等)、设备信号等。
- 时效性信息控制,如验证码控制、投票控制等。
- 分布式数据共享,如分布式集群架构中的session分离。
- 消息队列
- 分布式锁
Redis的下载与安装
Redis的下载
Linux版(适用于企业级开发)
- Redis高级开始使用
- 以4.0版本为主版本
Windows版(适合零基础学习)
- Redis入门使用
- 以3.2版本作为主版本
- 下载地址:https://github.com/microsoftarchive/redis/tagshttps://github.com/microsoftarchive/redis/tags
下载3.2.100版本,在这个版本下面下载 .zip:
绿色软件,解压即用。
解压后,根据类型排序,可找到:
从上往下,分别的作用:
作性能测试-> 用作持久化 -> redis可以进行操作 ->启动redis的可执行文件,提供功能(相当于mysql启动了一个服务器一样)
其他:
启动 Redis(双击-server后):
有port:对应的redis对外提供的端口号:6379
ID地址:本机 localhost/127.0.0.1
PID :每启动一个Redis服务,相当于启动了一个Redis对应的对象,一个对象就是一个实例。这个PID就相当于是这个实例的ID。
下面的就是Redis的执行日志。
客户端连接:
可以双击-cli直接启动,也可以在CMD中进入到这个文件夹下,执行redis-cli命令即可;
Redis的基本操作
命令行模式工具使用思考
- 功能性命令
- 清除屏幕信息
- 帮助信息查阅
- 退出指令
信息添加
- 功能:设置key,value数据
- 命令:set key value
信息查询
- 功能:根据key值查询对应的value,如果不存在返回空(nil)
- 命令:get key
清除屏幕信息
- 功能:清除屏幕中的信息
- 命令:clear
帮助
- 功能:获取命令帮助文档,获取族中所有命令信息名称
- 命令:help 命令名称 help @组名
退出客户端命令
- 命令:quit exit <Esc>
数据存储类型介绍(五种)
业务数据的特殊性
作为缓存使用
- 原始业务功能设计
- 秒杀
- 618
- 双11活动
- 排队购票
2.运营平台监控到的突发高频访问数据
- 突发时政要闻,被强势关注围观。
3. 高频、复杂的统计数据
- 在线人数
- 投票排行榜
附加功能
系统功能优化或升级
- 单服务器升级集群
- Session 管理
- Token管理
Redis数据类型(5种常用)
- string 类似 String
- hash HashMap
- list LinkedList
- set HashSet
- sorted_set TreeSet
redis数据存储格式
- redis自身是一个map,其中所有的数据都是采用key:value的形式存储
- 数据类型指的是存储的数据的类型,也就是value部分的类型。key部分永远都是字符串。
- 存储内容:通常使用字符串,如果字符串以整数的形式展示,可以作为数字操作使用。
String数据类型的基本操作
- 添加/修改数据
set key value
- 获取数据
get key
- 删除数据 (integer =1 删除成功,0为失败)
del key
- 添加/修改多个数据
mset key1 value1 key2 value2 …
- 获取多个数据
mget key1 value1 key2 value2 …
- 获取数据字符个数(字符串长度)
strlen key
- 追加信息到原始信息后部(如果原始信息存在就追加,否则创建)
append key value
String数据类型的拓展操作
我们实际开发中,不可能让一张表在无限增长,通常会分成不同的几张表,数据库也可以分成几个数据库。Oracle数据库中有序列sequence的概念,那么Mysql是如何解决Id重复的呢?
解决方案
- 设置数值数据增加指定范围的值
incr key /*+1*/
incrby key increment /*+increment*/
incrbyfloat key increment /*+小数,eg : 1.5*/
- 设置数值数据减少指定范围的值
decr key /*-1*/
decrby key increment /*-increment*/
String 作为数值操作
- string 在redis内部存储默认就是一个字符串,当遇到增减类操作incr,decr时会转成数值型进行计算
- redis的所有操作都是原子性的,采用单线程处理所有业务,命令是一个一个执行的,因此无需考虑并发带来的数据影响。
- 注意:按数值进行操作的数据,如果原始数据不能转成数值,或超过了redis数值上线范围,将报错。
9223372036854…(Java中long类型数据最大值,Long.MAX_VALUE)
Tips1:
- redis用于控制数据库表主键ID,为数据库表主键提供生成策略,保障数据库表的主键唯一性
- 此方案适用于所有数据库,且支持数据库集群
业务场景
投票,4小时内只能投一次
- 设置数据具有指定的生命周期
setex key seconds value
psetex key milliseconds value
Tips2:
- redis控制数据的生命周期,通过数据是否失效控制业务行为,适用于所有具有时效性限制控制的操作。
string类型数据操作的注意事项
- 数据操作不成功的反馈与数据正常操作之间的差异
- 表示运行结果是否成功
- (integer)0 -->失败
- (integer)1 -->成功
- 表示运行结果值
- (integer)3 -->3 3个
- (integer)1 -->1 1个
- 表示运行结果是否成功
- 数据未获取到
(nil)等同于null
- 数据最大存储量
512MB
- 数值计算最大范围(Java中的long的最大值)
业务场景
微博粉丝数和微博数
解决方案
- 在redis中为大V用户设定用户信息,以用户主键和属性值作为key,后台设定定时刷新策略即可
- eg: user:id:00789:fans --> 12213122
- eg: user:id:00789:blogs --> 7989897
- eg user:id:00789:focuss -->1278
- 在redis中以json格式存储大V用户信息,定时刷新(也可以使用hash类型)
- eg : user:id:00789 {id:00789,blogs:2718937,fans:2213819732819}
存储一条数据 set user:id:00789:fans 12213122
Tips:
- redis应用于各种结构型和非结构型高热度数据访问加速
Key的设置约定
- 数据库中的热点数据key的命名管理:
Hash
Hash类型
存储的困惑
对象类数据的存储如果具有较繁琐的更新要求操作会显得笨重
- 新的存储要求:对一系列存储的数据进行编组,方便管理,典型应用存储对象信息
- 需要的存储结构:一个存储空间保存多个键值对数据
- hash类型:底层使用哈希表结构实现数据存储
hash存储结构优化:
- 如果field数量较少,存储结构优化为类数组结构
- 如果field数量较多,存储结构使用HashMap结构。
Hash类型数据的基本操作
- 添加/修改数据
hset key field value
- 获取数据
hget key field
hgetall key
- 删除数据
hdel key field1 [field2] …
注意:使用hmget获取多个value,的时候,不显示field的值。其他方式获取会显示。
- 添加/修改多个数据
hmset key field1 value1 field2 value2 …
- 获取多个数据
hmget key field1 field2 …
- 获取哈希表中字段的数量
hlen key
- 获取哈希表中是否存在指定的字段(field)
hexists key field
Hash类型数据扩展操作
- 获取哈希表中所有的字段名或字段值
hkeys key ---->所有field的值
hvals key ----->所有value的值
- 设置指定字段的数值 数据增加指定范围的值
hincrby key field incrment
hincrbyfloat key field increment
Hash类型数据操作的注意事项
- hash类型下的value只能存储字符串,不允许存储其他数据类型,不存在嵌套现象。如果数据未获取到,对应的值为(nil)
- 每个hash可以存储2^32-1个键值对
- hash类型十分贴近对象的数据存储形式,并且可以灵活添加删除对象属性。但hash设计初衷不是为了存储大量对象而设计的,切记不可滥用,更不可以将hash作为对象列表使用。
- hgetall操作可以获取到全部属性,如果内部field过多,遍历整体数据效率就会很低,有可能成为数据访问瓶颈。
Hash类型应用场景
业务场景
电商网站购物车的设计与实现
业务分析
- 仅分析购物车的redis存储模型
- 添加、浏览、更改数量、删除、清空
- 购物车于数据库间持久化同步(不讨论)
- 购物车于订单关系(不讨论)
- 提交购物车:读取数据生成订单
- 商家临时价格调整:隶属于订单级别
- 未登录用户购物车信息存储(不讨论)
- cookie存储
解决方案
- 以客户ID作为key,每位客户创建一个hash存储结构 存储对应的购物车信息
- 将商品编号作为field,购买数量作为value进行存储
- 添加商品:追加全新的field与value
- 浏览:遍历hash
- 更改数量:自增/自减,设置value的值
- 删除商品:删除field
- 清空:删除key
当前的设计是否加速了购物车的呈现
当前仅仅是将数据存储到了redis中,并没有起到加速的作用,商品信息还需要二次查询数据库
- 每条购物车中的商品记录保存成两条field
- field1专用于保存购买数量
命名格式:商品ID:nums
保存数据:数值
- field2专用于保存购物车中显示的信息,包含文字信息,图片信息,所属商家信息等
命名格式:商品id:info
保存数据:json
hsetnx key field value
Tips:
- redis应用于购物车数据存储设计
业务场景
双11活动日,销售手机充值卡的商家对移动、联通、电信的30元、50元、100元商品推出抢购活动,每种商品抢购上线1000张
解决方案
- 以商家id作为key
- 将参与抢购的商品id作为field
- 将参与抢购的商品数量作为对应的value
- 抢购时使用降值的方式控制产品数量
- 实际业务中还有超卖等实际问题,这里不做讨论
哈希不支持自减,可以用负值代替。
Tips:
redis应用于抢购、限购类、限量发放优惠券、激活码等业务的数据存储设计。
hash存储对象 与 string存储对象(json)
hash :由于用field将属性隔离开,所以各个属性间不受干扰,适用于更新操作。
string:讲究整体性,一次性操作。读为主。
list类型
- 数据存储要求:存储多个数据,并对数据进行存储空间的顺序进行区分
- 需要的存储结构:一个存储空间保存多个数据,且通过数据可以体现进入顺序
- list类型:保存多个数据,底层使用双向链表存储结构实现
list类型数据基本操作
- 添加/修改操作
- lpush key value1 [value2] …
- rpush key value1 [value2] …
- 获取数据
- lrange key start stop
- lindex key index
- llen key
- 获取并移除数据
- lpop key (从左边第一个开始,出一个,相当于删除)
- rpop key
左进右查,右进左查。
意思就是:可以看作是一个栈,先进的先入,最后再从左往右赋值索引,这样会好理解一点。
-1代表从右数第一个。
list类型数据扩展操作
list的阻塞式获取
- 规定时间内获取并移除数据
- blpop key1 [key2] timeout (在规定时间内取,如果没有就等,直到时间耗完,如果时间耗完还没有就返回nil)
- brpop key1 [key2] timeout
业务场景
微信朋友圈点赞,要求按照点赞顺序显示点赞好友信息
如果取消点赞,移除对应好友信息
-----------------------------------------------------------
解决方案
- 移除指定数据
- lrem key count value
也可以删除多个相同的value
Tips6:
- redis应用于具有操作先后顺序的数据控制
list类型数据操作注意事项
- list中保存的数据都是string类型的,数据总容量是有限的,最多2^32-1个元素(4294967295)。
- list具有索引的概念,但是操作数据时通常以队列的形式入队出队操作,或以栈的形式进行入栈出栈操作。
- 获取全部数据操作结束索引设置为-1
- list可以对数据进行分页操作,通常第一页的信息来自于list(内存级的,通过缓存思想,数据通过内存提供,提高查询分页的一种方式),第2页及更多的信息通过数据库的形式加载。
业务场景
twitter、新浪微博、腾讯微博中个人用户的关注列表需要按照用户的关注顺序进行展示,粉丝列表需要将最近关注的粉丝列在前面。
新闻、资讯类网站如何将最新的新闻或资讯按照发生的时间顺序展示?
企业运营过程中,系统将产生出大量的运营数据,如何保障多台服务器操作日志的统一顺序输出?
解决方案
- 依赖list的数据具有顺序的特征对信息进行管理
- 使用队列模型解决多路信息汇总合并的问题
- 使用栈模型解决最新消息的问题
Tips:
- redis应用于最新消息的展示/消息排队
Set
set类型
- 新的存储需求:存储大量的数据,在查询方面提供更高的效率。
- 需要的存储结构:能够保存大量的数据,高效地内部存储机制,便于查询。
- set类型:与hash存储结构完全相同,仅存储键,不存储值(nil),并且值是不允许重复的。
也就是只用field部分用来存储value,原本的value都设置为nil。
set类型数据的基本操作
- 添加数据
- sadd key member1 [member2] …
- 获取全部数据
- smembers key
- 删除数据
- srem key member1 [member2] …
- 获取集合数据总量
- scard key
- 判断集合中是否包含指定数据、
- sismember key member
hash中存储时没有顺序。
set类型数据的扩展操作
业务场景
每位用户首次使用今日头条时会设置3项爱好的内容,但是后期为了增加用户的活跃度,兴趣点,必须让用户对其他信息类逐渐产生兴趣,增加客户留存度,提高用户黏性,进而使APP的利益最大化。如何实现?
业务分析
- 系统分析出各个分类的最新或最热点信息条目并组织成set集合。
- 随机挑选其中部分信息。
- 配合用户关注信息分类中的热点信息组织成展示的全信息集合。
解决方案
- 随机获取集合中指定数量的数据(从原集合中随机的挑选出一些数据给你,但原集合数据不变,下次也可以推这次推过的内容)(即随机获取)
- srandmember key [count]
- 随机获取集合中的某个数据并将该数据移出集合(推过的就不再推了,从原集合推送一些,下次推送剩下的那些)(即随机剔除)
- spop key
Tips8:
- redis应用于随机推荐类信息检索,例如热点歌单推荐,热点新闻推荐,热卖旅游线路,应用APP推荐,大V推荐等。
set类型数据的扩展操作‘
业务场景
脉脉为了促进用户间的交流,保障业务成单率的提升,需要让每位用户拥有大量的好友,事实上职场新人不具有更多的职场好友,如何快速为用户积累更多的好友?
新浪微博为了增加用户热度,提高用户留存性,需要微博用户再关注更多的人,以此获得更多的信息或热门话题,如何提高用户关注他人的总量?
QQ新用户入网年龄越来越低,这些用户的朋友圈交际圈很小,往往集中在一个学校或者班级中,如何帮助用户快速积累好友,给用户带来更多的活跃度?
微信公众号使微信信息流通的渠道之一,增加用户关注的公众号成为提高用户活跃度的一种方式,如何帮助用户积累更多的公众号?
美团外卖为了提升成单量,必须帮助用户挖掘美食需求,如何推荐用户最适合自己的美食?
解决方案
-
求两个集合的交、并、差集
-
sinter key1 [key2] …
-
sunion key1 [key2] …
-
sdiff key1 [key2] …
-
-
求两个集合的交、并、差集并存储到指定的集合中
-
sinterstore destination key1 [key2] …
-
sunionstore destination key1 [key2] …
-
sdiffstore destination key1 [key2] …
-
-
将指定数据从原始集合中移动到目标集合中
-
smove source destination member
-
解决方案
Tips9:
- redis 应用于同类信息的关联搜索,二度关联搜索,深度关联搜索
- 显示共同关注(一度)
- 显示共同好友(一度)
- 由用户A出发,获得好友用户B的好友信息列表(一度)
- 由用户A出发,获得好友用户B的购物清单列表(二度)
- 由用户A出发,获得好友用户B的游戏充值列表(二度)
set类型数据操作的注意事项
-
set类型不允许数据重复,如果添加的数据在set中已经存在,将只保留一份
-
set虽然和hash的存储结构相同,但是无法启用hash中存储值的空间
set类型应用场景
业务场景1
集团公司共具有12000名员工,内部OA系统中具有700多个角色,3000多个业务操作,23000多种数据,每名员工具有一个或多个角色,如何快速进行业务操作的权限校验?
(当然真正的权限校验:现在有很多成熟的权限校验框架)
(只是用redis也可以做到这个事情)
解决方案
- 依赖set集合数据不重复的特征,依赖set集合hash存储结构特征完成数据过滤与快速查询
- 根据用户id获取用户所有角色
- 根据用户所有角色获取用户所有操作权限放入set集合
- 根据用户所有角色获取用户所有数据全选放入set集合
第一种:称拿数据再到业务层作校验的这种形式,相对来说耦合度低一些。数据和业务是分散开的。
第二种:把业务校验这一步给融到数据这一层当中了。在取数据的时候把数据校验加进去了。
推荐使用第一种。。。
校验工作:redis是提供基础数据还是校验结果?
当然是基础数据即可。
Tips:
- redis应用于同类型不重复数据的合并操作。
业务场景2
公司对旗下新的网站做推广,统计网站的PV(访问量),UV(独立访客),IP(独立IP)。
PV:网站被访问次数,可通过刷新页面提高访问量。
UV:网站被不同用户访问的次数,可通过cookie统计访问量,相同用户切换IP地址,UV不变。
IP:网站被不同IP地址访问的总次数,可通过IP地址统计访问量,相同IP不同用户访问,IP不变。
解决方案
- 利用set集合的数据去重特征,记录各种访问数据
- 建立string类型数据,利用incr统计访问量(PV)
- 建立set模型,记录不同cookie数量(UV)(去做重复性的过滤)
- 建立set模型,记录不同IP数量(IP)
Tips11:
- redis应用于同类型数据的快速去重(做数据过滤)
业务场景3
黑名单
资讯类信息类网站追求高访问量,但是由于其信息类的价值,往往容易被不法分子利用,通过爬虫技术,快速获取信息,个别特种行业网站信息通过爬虫获取分析后,可以转换成商业机密进行销售。例如第三方火车票、机票、酒店刷票代购软件,电商刷评论、刷好评。
同时爬虫带来的伪流量也会给经营者带来错觉,产生错误的决策。有效避免网站被爬虫反复爬取成为每个网站都要考虑的基本问题。在基于技术层面区分出爬虫用户后,需要将此类用户进行有效地屏蔽,这就是黑名单的典型应用。
ps:不是说爬虫一定做摧毁性的工作。有些小型网站需要爬虫为其带来一些流量。
白名单
对于安全性更高的应用访问,仅仅靠黑名单是不能解决安全问题的。此时需要设定可访问的用户群体,依赖白名单做更为苛刻的访问验证。
解决方案
- 基于经营战略设定问题用户发现、鉴别规则
- 周期性更新满足规则的用户黑名单,加入set集合
- 用户行为信息达到后与黑名单进行比对,确认行为去向
- 黑名单过滤IP地址:应用于开发游客访问权限的信息源
- 黑名单过滤设备信息:应用于权限访问设备的信息源
- 黑名单过滤用户:应用于基本访问权限的信息源
Tips12:
- redis应用于基于黑名单与白名单设定的服务控制
服务控制的鉴定不在redis
sorted_set
sorted_set类型
- 新的存储需求:数据排序有利于数据的有效展示,需要提供一种可以根据自身特征进行排序的方式。
- 需要的存储结构:新的存储模型,可以保存可排序的数据
- sorted_set类型:在set的存储基础上添加可排序字段
score不是用来存数据的,而是用来排序的。
sorted_set类型数据的基本操作
-
添加数据
-
zadd key score1 member1 [score2 member2] …
-
-
获取全部数据
-
zrange key start stop [WITHSCORES]
-
zrevrange key start stop [WITHSCORES]
-
-
删除数据
-
zrem key member [member …]
-
-
按条件获取数据
-
zrangebyscore key min max [WITHSCORES] [LIMIT]
-
zrevrangebyscore key max min [WITHSCORES]
-
-
条件删除数据
-
zremrangebyrank key start stop
-
zremrangebyscore key min max
-
-
获取集合数据总量
-
zcard key (有多少数据)
-
zcount key min max
-
-
集合交、并操作
-
zinterstore destination numkeys key [key …]
-
zunionstore destination numkeys key [key …]
-
eg:
这里就把67score删掉了。
sorted_set提供了一些与score有关的操作,删除、查询都有关。由于有顺序的概念,所以也提供按索引操作。
注意:
- min与max用于限定搜索查询的条件
- start与stop用于限定查询范围,作用于索引,表示开始和结束索引
- offset与count用于限定查询范围,作用于查询结果,表示开始位置和数据总量
sorted_set扩展操作
业务场景1
票选广东十大杰出青年,各类综艺选秀海选投票
各类资源网站TOP10(电影、歌曲、文档、电商、游戏等)
聊天室活跃度统计
游戏好友亲密度
业务分析
- 为所有参与排名的资源建立排序依据
解决方案
- 获取数据对应的索引(排名)
- zrank key member
- zrevrank key member
- score值获取与修改
- zscore key member
- zincrby key increment member
Tips13:
- redis应用于计数器组合排序功能对应的排名
sorted_set类型数据操作的注意事项
- score保存的数据存储空间是64位,如果是整数范围是-90071799254740992~90071799254740992
- score保存的数据也可以是一个双精度的double值,基于双精度浮点数的特征,可能会丢失精度,使用时要慎重。(eg:0.9)
- sorted_set底层存储还是基于set结构的,因此数据不能重复,如果重复添加相同的数据,score值将被反复覆盖,保留最后一次修改结果。
注意:这里的返回值0,指的是value无法进入,但不是不能改。
业务场景2
基础服务+增值服务类网站会设定各类会员的试用,让用户充分体验会员优势。例如观影试用VIP、游戏VIP体验、云盘下载体验 VIP、数据查看体验VIP。当VIP体验到期后,如果有效管理此类信息。即便对于正式VIP用户也存在对应的管理方式。
网站会定期开启投票、讨论、限时进行、逾期作废。如何有效管理此类过期信息。
解决方案
- 对于基于时间线限定的任务处理,将处理时间记录为score值,利用排序功能区分处理的先后顺序。
- 记录下一个要处理的时间,当到期后处理对应任务,移除redis中的记录,并记录下一个要处理的时间
- 当新任务加入时,判定并更新当前下一个要处理的任务时间
- 当提升sorted_set的性能,通常将任务根据特征存储成若干个sorted_set。例如1小时内,1天内,周内,月内,季内,年度内等。操作时逐级提升,将即将操作的若干个任务纳入到1小时内处理的队列中。
- 获取当前时间
- time
1)秒单位,下面那个是更小的单位
Tips14:
- redis应用于定时任务执行顺序管理或任务过期管理。
- 分段
业务场景3
任务/消息权重设定应用
当任务或者消息待处理,形成任务队列或消息队列时,对于高优先级的任务要保障对其优先处理,如何实现任务权重管理。
解决方案
- 对于带有权重的任务,优先处理权重高的任务,采用score记录权重即可。
多条件任务权重设定
如果权重条件过多时,需要对排序score值进行处理,保障score能够兼容2条件或者多条件,例如外贸订单优先于国内订单,总裁订单优先于员工订单,经理订单优先于员工订单。
- 因score长度受限,需要对数据进行截断处理,尤其是时间设置为小时或分钟级即可(折算后)
- 先设定订单类别,后设定订单发起角色类别,整体score长度必须时统一的,不足位补0。第一排序规则首位不得是0
- 例如外贸101,国内102,经理003,员工008
- 员工下的外贸单score值为101008(优先)
- 经理下的国内单score值为102003
虽然这样操作可以实现将权重高的剔除出去,但由于操作的非原子性,所以无法保证是否会有插队等。
事务可以解决。
现在是否有API可以解决这个事情???
数据类型实战案例
业务场景1
人工智能领域的语义识别与自动对话将是未来服务业机器人应答呼叫体系中的重要技术,百度自研用户评价语义识别服务,免费开放给企业试用,同时训练百度自己的模型。现对试用用户的使用行为进行限速,限制每个用户每分钟最多发起10次调用。
解决方案
- 设计计数器,记录调用次数,由于控制业务执行次数。以用户id作为key,使用次数作为value
- 在调用前获取次数,判断是否超过限定次数
- 不超过次数的前提下,每次调用计数+1
- 业务调用失败,技术-1
- 为计数器设置生命周期为指定周期,例如1秒/分钟,自动清空周期内使用次数。
为避免每次都需要判断,改良方案。
解决方案改良
- 取消最大值的判定,利用incr操作超过最大值抛出异常的形式
- 判断是否为nil
- 如果是,设置为MAX-次数
- 如果不是,计数+1
- 业务调用失败,计数-1
- 遇到异常即+操作超过上线,视为使用达到上限。
Tips16:
- redis应用于限时按次结算的服务控制
业务场景2
使用微信的过程中,当微信接收消息后,会默认将最近接收的信息置顶,当多个好友及关注的订阅号同时发送消息时,该排序会不停的进行交替。同时还可以将重要的会话设置为顶置。一旦用户离线后,再次打开微信时,消息该按照什么样的顺序显示?
解决方案
- 依赖list的数据具有顺序的特征对消息进行管理,将list结构作为栈使用
- 对置顶与普通会话分别创建独立的List分别管理
- 当某个list中接收到用户消息后,将消息发送方的id从list的一侧加入list(此处设置左侧)
- 多个相同的id发出的消息反复进入栈会出现问题,在入栈之前无论是否具有当前id对应的消息,先删除对应的id
- 消息的数量,也就是微信用户对话数量采用计数器的思想另行记录,伴随list操作同步更新
Tips17:
- redis应用于基于时间顺序的数据操作,而不关注具体时间
Redis通用命令
key特征
- key是一个字符串,通过key获取redis中保存的数据
key应该设计哪些操作
- 对于key自身状态的相关操作,例如:删除,判定存在,获取类型等
- 对于key有效性控制相关操作,例如:有效期设定,判断是否有效,有效状态的切换等
- 对于key快速查询操作,例如:按指定策略查询key……
- ……
key基本操作
- 删除指定key
- del key
- 获取Key是否存在
- exists key
- 获取key的类型
- type key
key的扩展操作(时效性控制)
- 为指定key设置有效期
- expire key seconds
- pexpire key milliseconds
- expireat key timestamp(Linux中,时间戳)
- pexpireat key milliseconds-timestamp
- 获取key的有效时间
- ttl key
- pttl key
- 切换key从时效性转换为永久性
- persist key
注意:使用ttl命令,返回-2代表当前key不存在了。(time to live)
如果一个key存在,返回的是-1;
如果一个key设置了有效期,就返回现在所剩时长。
使用persist的时候,当key在有效期或者存在时,返回1
不存在时,返回0
key的扩展操作(查询模式)
- 查询key
- keys pattern
key其他操作
- 为key改名
- rename key newkey (不管newkey存不存在,都成功,newkey若以存在,则覆盖原来的newkey)
- renamenx key newkey(若newkey已存在,则会返回0,操作失败)
- 对所有key排序(其实是value)
- sort
- 其他Key通用操作
- help @generic
注意:这时的str2已经存在。
使用sort命令时,默认升序,desc是降序。
数据库通用指令
key的重复问题
- key是由程序员定义的
- redis在使用过程中,伴随着操作数据量的增加,会出现大量的数据以及对应的key
- 数据不区分种类,类别混杂在一起,极易容易出现重复或冲突
解决方案
- redis为每个服务提供有16个数据库,编号从0-15(它们共用一个存储空间)
- 每个数据库之间的数据相互独立
db基本操作
- 切换数据库
- select index
- 其他操作
- quit
- ping (判断是否和服务器是通着的)
- echo message(相当于在控制台输出一段字符串,与客户机有关)
- 数据移动
- move key db (相当于剪切操作,从一个库剪切到另一个库;而且保证目标库没有待移动的key,否则失败)
- 数据清除
- dbsize (查看库里多少个key)
- flushdb (刷掉现在数据库中的数据)
- flushall (刷掉所有库中的数据)
eg:flushdb - 代表没有参数
Jedis
Jedis简介
Java程序操作redis的工具。
编程语言与redis
- Java语言连接redis服务
- Jedis
- SpringData Redis
- Lettuce
- C、C++、C#、Erlang、Lua、Objective-C、Perl、PHP、Python、Ruby、Scala
HelloWorld(Jedis版)
准备工作
- jar包导入
- 下载地址:https://mvnrepository.com/artifact/redis.clients/jedis
- 基于maven
<dependency>
<groupId>redis.clients</groupId>
<artifactId>jedis</artifactId>
<version>2.9.0</version>
</dependency>
客户端连接redis
- 连接redis
Jedis jedis = new Jedis("127.0.0.1", 6379);
- 操作redis
jedis.set("name","liu");
String name = jedis.get("name");
System.out.println(name);
- 关闭redis连接
jedis.close();
Jedis读写redis数据
案例:服务调用次数控制
案例:需求分析
①设定一个服务方法,用于模拟实际业务调用的服务,内部采用打印模拟调用
②在业务调用前服务调用控制单元,内部使用redis进行控制,参照之前的案例。
③对调用超限使用异常进行控制,异常处理设定为打印提示信息
④主程序启动3个线程,分别表示3中不同的用户的调用。
后续1:对业务控制方案进行改造,设定不同用户等级的判定
后续2:将不同用户等级对应的信息,限定次数等设定到redis中,使用hash保存。
Jedis简易工具类开发
基于连接池获取
- JedisPool:Jedis提供的连接池技术
- poolConfig:连接池配置对象
- host:redis服务器地址
- port:redis服务端口号
public JedisPool(GenericObjectPoolConfig poolConfig,String host,int port){
this(poolConfig,host,port,2000,(String)null,0, (String)null);
}
- jedis.properties:
redis.host = 127.0.0.1
redis.port = 6379
redis.maxTotal = 30
redis.maxIdle = 10
- 静态代码块初始化资源:
private static JedisPool jedisPool = null;
private static String host = null;
private static Integer port = null;
private static Integer maxTotal = null;
private static Integer maxIdle = null;
static {
ResourceBundle resourceBundle = ResourceBundle.getBundle("redis");
host = resourceBundle.getString("redis.host");
port = Integer.parseInt(resourceBundle.getString("redis.port"));
maxTotal = Integer.parseInt(resourceBundle.getString("redis.maxTotal"));
maxIdle = Integer.parseInt(resourceBundle.getString("redis.maxIdle"));
JedisPoolConfig jpc = new JedisPoolConfig();
jpc.setMaxIdle(maxIdle);
jpc.setMaxTotal(maxTotal);
jedisPool = new JedisPool(jpc,host,port);
}
- 对外访问接口,提供redis连接对象,连接从连接池获取
public static Jedis getJedis(){
return jedisPool.getResource();
}