Redis

一 Redis介绍

开源：早起版本2.3w行
基于键值对的存储系统：字典形式
多种数据结构：字符串，hash，列表，集合，有序集合
高性能，功能丰富

Redis特性（8个）

速度快：10w ops（每秒10w读写），数据存在内存中，c语言实现，单线程模型。

持久化：rdb和aof

多种数据结构：5大数据结构、BitMaps位图：布隆过滤器 本质是 字符串、HyperLogLog：超小内存唯一值计数，12kb HyperLogLog 本质是 字符串、GEO：地理信息定位 本质是有序集合。

支持多种编程语言：基于tcp通信协议，各大编程语言都支持。

功能丰富：发布订阅（消息） Lua脚本，事务（pipeline）。

简单：源代码几万行，不依赖外部库。

主从复制：主服务器和从服务器，主服务器可以同步到从服务器中。

高可用和分布式： 2.8版本以后使用redis-sentinel支持高可用，3.0版本以后支持分布式。

二 Redis安装启动

# 下载
wget http://download.redis.io/releases/redis-5.0.7.tar.gz
# 解压
tar -xzf redis-5.0.7.tar.gz
# 建立软连接
ln -s redis-5.0.7 redis

cd redis
make&&make install
# make：编译       之前只是编译，没有安装，所以做了软连接
# make install    安装到了 /usr/local/bin 

# 在src目录下可以看到
# redis-server--->redis服务器
# redis-cli---》redis命令行客户端
# redis-benchmark---》redis性能测试工具
# redis-check-aof--->aof文件修复工具
# redis-check-dump---》rdb文件检查工具
# redis-sentinel---》sentinel服务器，哨兵

# redis作者对windows维护不好，window自己有安装包

####卸载redis
# 1、查看redis进程；
ps aux|grep redis
# 2、kill掉进程；
kill 进程id
# 3、进入到redis目录
cd /usr/local/
# 4、删除redis对应的文件
rm -f /usr/local/redis/bin/redis*
rm -f /usr/local/bin/redis*
# 5、删除对应的文件
rm -rf redis

三种启动方式

#1 最简单启动
redis-server
ps -ef|grep redis  # 查看进程
netstat -antpl|grep redis # 查看端口
redis-cli -h ip -p port ping # 命令查看


#2 动态参数启动
redis-server --port 6380 #启动，监听6380端口

#3 配置文件启动
mv redis.conf redis.conf.bak
vim redis.conf

# 写入
daemonize yes #是否以守护进程启动
pidfile /var/run/redis.pid   #进程号的位置，删除
port 6379    #端口号
dir /root/redis/data  #工作目录
logfile 6379.log #日志位置 

# 在redis目录下新建data目录，用来存放数据
# 启动redis
redis-server /root/redis/redis.conf

# 查看进程
ps -ef |grep redis-server |grep 6379
# 查看日志
cd data
cat 6379.log

客户端命令

###客户端连接###
redis-cli -h 127.0.0.1 -p 6379
ping #返回PONG

## 有密码的情况可以两种登陆方式
# 方式一
redis-cli -h 127.0.0.1    -p 6370 -a 123456
# 方式二
先登陆，再通过auth输入密码

# 查看所有配置
	config get *  #  107对
    port
    daemonize
    logfile
    dbfilename
    requirepass  # 设置密码
    maxmemory   # 最大占用内存，0 不限制
    databases  #16 个库
    maxclients
    appendonly  # 持久化
    dir
    slaveof  # 复制谁，如果是从库，这个地方要写主库
    bind

# 修改配置(直接改文件，重启)
# 修改配置(客户端直接修改) ---》临时改，当前进程如果不停，生效，重启就没了
CONFIG SET maxmemory 128M
CONFIG get maxmemory
CONFIG set requirepass 123456

# 永久生效，同步到配置文件中
CONFIG REWRITE

### redis返回值
状态回复：ping---》PONG
错误回复：hget hello field ---》(error)WRONGTYPE Operation against
整数回复：incr hello---》(integer) 1
字符串回复：get hello---》"world"
多行字符串回复：mget hello foo---》"world" "bar"

三 Redis典型使用场景

缓存系统：使用最广泛的就是缓存。

计数器：网站访问量，转发量，评论数（文章转发，商品销量，单线程模型，不会出现并发问题）。

消息队列：发布订阅，阻塞队列实现（简单的分布式，blpop：阻塞队列，生产者消费者）。

排行榜：有序集合（阅读排行，点赞排行，推荐（销量高的，推荐））。

社交网络：很多特效跟社交网络匹配，粉丝数，关注数。

实时系统：垃圾邮件处理系统，布隆过滤器。

四 通用命令

####1-keys 
#打印出所有key
keys * 
#打印出所有以he开头的key
keys he*
#打印出所有以he开头，第三个字母是h到l的范围
keys he[h-l]
#三位长度，以he开头，？表示任意一位
keys he？
#keys命令一般不在生产环境中使用，生产环境key很多，时间复杂度为o(n),用scan命令

####2-dbsize   计算key的总数
dbsize #redis内置了计数器，插入删除值该计数器会更改，所以可以在生产环境使用，时间复杂度是o(1)

###3-exists key 时间复杂度o(1)
#设置a
set a b
#查看a是否存在
exists a
(integer) 1
#存在返回1 不存在返回0
###4-del key  时间复杂度o(1)
删除成功返回1，key不存在返回0
###5-expire key seconds  时间复杂度o(1)
expire name 3 #3s 过期
ttl name  #查看name还有多长时间过期
persist name #去掉name的过期时间
###6-type key  时间复杂度o(1)
type name #查看name类型，返回string


### 7 其他
info命令：内存，cpu，主从相关
client list  正在连接的会话
client kill ip:端口
dbsize  总共有多少个key
flushall  清空所有
flushdb  只清空当前库
select 数字  选择某个库  总共16个库
monitor  记录操作日志

五 redis 字符串命令

###1---基本使用get，set，del
get name       #时间复杂度 o(1)
set name xuxiaoxu   #时间复杂度 o(1)
del name       #时间复杂度 o(1)

###2---其他使用incr,decr,incrby,decrby
incr age  #对age这个key的value值自增1
decr age  #对age这个key的value值自减1
incrby age 10  #对age这个key的value值增加10
decrby age 10  #对age这个key的value值减10

###3---set，setnx，setxx
set name xxx  #不管key是否存在，都设置 
setnx name xxx #key不存在时才设置（新增操作）
set name xxx nx #同上
set name jasper xx #key存在，才设置（更新操作）

###4---mget mset
mget key1 key2 key3     #批量获取key1，key2.。。时间复杂度o(n)
mset key1 value1 key2 value2 key3 value3    #批量设置时间复杂度o(n)
#n次get和mget的区别
#n次get时间=n次命令时间+n次网络时间
#mget时间=1次网络时间+n次命令时间

###5---其他：getset，append，strlen
getset name xuxiaoxu #设置新值并返回旧值 时间复杂度o(1)
append name 666 #将value追加到旧的value 时间复杂度o(1)
strlen name  #计算字符串长度(注意中文)  时间复杂度o(1)

###6---其他：incrybyfloat,getrange,setrange
increbyfloat age 3.5  #为age自增3.5，传负值表示自减 时间复杂度o(1)
getrange key start end #获取字符串制定下标所有的值  时间复杂度o(1)
setrange key index value #从指定index开始设置value值  时间复杂度o(1)

# 作用：
# 统计网站访问量（单线程无竞争，天然适合做计数器）
# 缓存mysql的信息（json格式）
# 分布式id生成（多个机器同时并发着生成，不会重复）

六 redis 列表命令

插入操作

#rpush 从右侧插入
rpush key value1 value2 ...valueN  #时间复杂度为o(1~n)
#lpush 从左侧插入
#linsert
linsert key before|after value newValue   #从元素value的前或后插入newValue 时间复杂度o(n) ，需要遍历列表
linsert listkey before b java
linsert listkey after b php

删除操作

lpop key #从列表左侧弹出一个item 时间复杂度o(1)

rpop key #从列表右侧弹出一个item 时间复杂度o(1)

lrem key count value
#根据count值，从列表中删除所有value相同的项 时间复杂度o(n)
1 count>0 从左到右，删除最多count个value相等的项
2 count<0 从右向左，删除最多 Math.abs(count)个value相等的项
3 count=0 删除所有value相等的项
lrem listkey 0 a #删除列表中所有值a
lrem listkey -1 c #从右侧删除1个c

ltrim key start end #按照索引范围修剪列表 o(n)
ltrim listkey 1 4 #只保留下标1--4的元素

查询操作

lrange key start end #包含end获取列表指定索引范围所有item  o(n)
lrange listkey 0 2
lrange listkey 1 -1 #获取第一个位置到倒数第一个位置的元素

lindex key index #获取列表指定索引的item  o(n)
lindex listkey 0
lindex listkey -1

llen key #获取列表长度

修改操作

lset key index newValue #设置列表指定索引值为newValue o(n)
lset listkey 2 ppp #把第二个位置设为ppp

其他

blpop key timeout #lpop的阻塞版，timeout是阻塞超时时间，timeout=0为拥有不阻塞 o(1)
brpop key timeout #rpop的阻塞版，timeout是阻塞超时时间，timeout=0为拥有不阻塞 o(1)

#要实现栈的功能
lpush+lpop
#实现队列功能
lpush+rpop
#固定大小的列表
lpush+ltrim
#消息队列
lpush+brpop

作用：
实现timeLine功能，时间轴，微博关注的人，按时间轴排列，在列表中放入关注人的微博的即可。

七 redis 字典命令

###1---hget,hset,hdel
hget key field  #获取hash key对应的field的value 时间复杂度为 o(1)
hset key field value #设置hash key对应的field的value值 时间复杂度为 o(1)
hdel key field #删除hash key对应的field的值 时间复杂度为 o(1)
#测试
hset user:1:info age 23
hget user:1:info age
hset user:1:info name xuxiaoxu
hgetall user:1:info
hdel user:1:info age

###2---hexists,hlen
hexists key field  #判断hash key 是否存在field 时间复杂度为 o(1)
hlen key   #获取hash key field的数量  时间复杂度为 o(1)
hexists user:1:info name
hlen user:1:info  #返回数量
        
###3---hmget，hmset
hmget key field1 field2 ...fieldN  #批量获取hash key 的一批field对应的值  时间复杂度是o(n)
hmset key field1 value1 field2 value2  #批量设置hash key的一批field value 时间复杂度是o(n)

###4--hgetall,hvals，hkeys
hgetall key  #返回hash key 对应的所有field和value  时间复杂度是o(n)
hvals key   #返回hash key 对应的所有field的value  时间复杂度是o(n)
hkeys key   #返回hash key对应的所有field  时间复杂度是o(n)
###小心使用hgetall

##其他操作 hsetnx，hincrby，hincrbyfloat
hsetnx key field value #设置hash key对应field的value（如果field已存在，则失败），时间复杂度o(1)
hincrby key field intCounter #hash key 对英的field的value自增intCounter 时间复杂度o(1)
hincrbyfloat key field floatCounter #hincrby 浮点数 时间复杂度o(1)


##1 计算网站每个用户主页的访问量
hincrby user:1:info pageview count
##2 缓存mysql的信息，直接设置hash格式

# 作用
	-缓存，缓存用户信息，数据
    -计数器

八 redis 集合

# 无序，无重复，集合间操作（交叉并补）

# 常用api
sadd key element #向集合key添加element（如果element存在，添加失败） o(1)
srem key element #从集合中的element移除掉 o(1)
scard key #计算集合大小
sismember key element #判断element是否在集合中
srandmember key count #从集合中随机取出count个元素，不会破坏集合中的元素
spop key #从集合中随机弹出一个元素
smembers key #获取集合中所有元素 ，无序，小心使用，会阻塞住 

sdiff user:1:follow user:2:follow  #计算user:1:follow和user:2:follow的差集
sinter user:1:follow user:2:follow  #计算user:1:follow和user:2:follow的交集       
sunion user:1:follow user:2:follow  #计算user:1:follow和user:2:follow的并集               
sdiff|sinter|suion + store destkey... #将差集，交集，并集结果保存在destkey集合中


# 作用
抽奖系统 ：通过spop来弹出用户的id，活动取消，直接删除
点赞，点踩，喜欢等，用户如果点了赞，就把用户id放到该条记录的集合中

标签：给用户/文章等添加标签，sadd user:1:tags 标签1 标签2 标签3
给标签添加用户，关注该标签的人有哪些

共同好友：集合间的操作

九 redis 有序集合

# 不重复，有个分值字段，保证集合有顺序

# 操作

zadd key score element #score可以重复，可以多个同时添加，element不能重复 o(logN) 

zrem key element #删除元素，可以多个同时删除 o(1)

zscore key element #获取元素的分数 o(1)

zincrby key increScore element #增加或减少元素的分数  o(1)

zcard key #返回元素总个数 o(1)

zrank key element #返回element元素的排名（从小到大排）

zrange key 0 -1 #返回排名，不带分数  o(log(n)+m) n是元素个数，m是要获取的值
zrange player:rank 0 -1 withscores #返回排名，带分数

zrangebyscore key minScore maxScore #返回指定分数范围内的升序元素 o(log(n)+m) n是元素个数，m是要获取的值
zrangebyscore user:1:ranking 90 210 withscores #获取90分到210分的元素

zcount key minScore maxScore #返回有序集合内在指定分数范围内的个数 o(log(n)+m)

zremrangebyrank key start end #删除指定排名内的升序元素 o(log(n)+m)
zremrangebyrank user:1:rangking 1 2 #删除升序排名中1到2的元素
        
zremrangebyscore key minScore maxScore #删除指定分数内的升序元素 o(log(n)+m)
zremrangebyscore user:1:ranking 90 210 #删除分数90到210之间的元素


zrevrank #从高到低排序
zrevrange #从高到低排序取一定范围
zrevrangebyscore #返回指定分数范围内的降序元素
zinterstore #对两个有序集合交集
zunionstore #对两个有序集合求并集

# 作用
排行榜：音乐排行榜，销售榜，关注榜，游戏排行榜

十 慢查询

许多存储系统（例如MySQL） 提供慢查询日志帮助开发和运维人员定 位系统存在的慢操作。 所谓慢查询日志就是系统在命令执行前后计算每条命 令的执行时间， 当超过预设阀值， 就将这条命令的相关信息（例如： 发生时 间， 耗时， 命令的详细信息） 记录下来， Redis也提供了类似的功能。
1） 发送命令
2） 命令排队
3） 命令执行
4） 返回结果

慢查询只统计步骤3） 的时间， 所以没有慢查询并不代表客户端没有超时问题。

两个配置
Redis提供了slowlog-log-slower-than和slowlog-max-len配置来解决这两个 问题。 从字面意思就可以看出， slowlog-log-slower-than就是那个预设阀值， 它的单位是微秒（1秒=1000毫秒=1000000微秒） ， 默认值是10000， 假如执 行了一条“很慢”的命令（例如keys*） ， 如果它的执行时间超过了10000微 秒， 那么它将被记录在慢查询日志中。

slowlog-max-len: 慢查询是一个先进先出的队列，固定长度，保存在内存中。

slowlog-max-len: 慢查询阈值（单位：微秒），slowlog-log-slower-than=0，记录所有命令，slowlog-log-slower-than <0,不记录任何命令。

配置方法

默认配置：

config get slowlog-max-len
# 128
config get slowly-log-slower-than=10000

动态配置:

 # 设置记录所有命令
config set slowlog-log-slower-than 0
# 最多记录100条
config set slowlog-max-len 100
# 持久化到本地配置文件
config rewrite

# config set slowlog-max-len 1000
# config set slowlog-log-slower-than 1000

三个命令：

slowlog get [n]  #获取慢查询队列
'''
日志由4个属性组成：
1）日志的标识id
2）发生的时间戳
3）命令耗时
4）执行的命令和参数
'''

slowlog len #获取慢查询队列长度

slowlog reset #清空慢查询队列

十一 pipeline与事务

什么十pipeline（管道）：

Redis的pipeline(管道)功能在命令行中没有，但redis是支持pipeline的，而且在各个语言版的client中都有相应的实现。

将一批命令，批量打包，在redis服务端批量计算(执行)，然后把结果批量返回。

1次pipeline(n条命令)=1次网络时间+n次命令时间。

python代码实现：

import redis

pool = redis.ConnectionPool(host='139.224.115.169', port=6379)

conn = redis.Redis(connection_pool=pool)

# 创建pipeline
pipe = conn.pipeline(transaction=True)

# 开启事务
pipe.multi()

pipe.set('name', 'xuxiaoxu')
pipe.set('age', 18)

# 一次性执行命令  ，在这之前，如果处理异常，所有命令都不会执行，保证了一致性
pipe.execute()

原生事务操作：

# 1 mutil  开启事务，放到管道中一次性执行
multi   # 开启事务
set name xuxiaoxu
set age 18
exec

# 2 模拟事务
# 在开启事务之前，先watch
wathc age
multi
decr age
exec

# 另一台机器
mutil
decr age
exec  # 先执行，上面的执行就会失败(乐观锁，被wathc的事务不会执行成功)

十二 发布订阅

什么是发布订阅？

Redis 发布订阅(pub/sub)是一种消息通信模式：发送者(pub)发送消息，订阅者(sub)接收消息。

操作命令：

publish channel message #发布命令
publish souhu:tv "hello world" #在souhu:tv频道发布一条hello world  返回订阅者个数

subscribe [channel] #订阅命令，可以订阅一个或多个
subscribe souhu:tv  #订阅sohu:tv频道

unsubscribe [channel] #取消订阅一个或多个频道
unsubscribe sohu:tv  #取消订阅sohu:tv频道
    
psubscribe [pattern...] #订阅模式匹配
psubscribe c*  #订阅以c开头的频道

unpsubscribe [pattern...] #按模式退订指定频道

pubsub channels #列出至少有一个订阅者的频道,列出活跃的频道

pubsub numsub [channel...] #列出给定频道的订阅者数量

pubsub numpat #列出被订阅模式的数量

发布订阅和消息队列：

-只要订阅了，所有人都能收到消息
-消息队列，只有一个人能抢到消息

十三 Bitmap位图

在平时开发过程中，经常会有一些 bool 类型数据需要存取。比如记录用户一年内签到的次数，签了是 1，没签是 0。如果使用 key-value 来存储，那么每个用户都要记录 365 次，当用户成百上亿时，需要的存储空间将非常巨大。为了解决这个问题，Redis 提供了位图结构。

位图（bitmap）同样属于 string 数据类型。Redis 中一个字符串类型的值最多能存储 512 MB 的内容，每个字符串由多个字节组成，每个字节又由 8 个 Bit 位组成。位图结构正是使用“位”来实现存储的，它通过将比特位设置为 0 或 1来达到数据存取的目的，这大大增加了 value 存储数量，它存储上限为2^32 。

位图本质上就是一个普通的字节串，也就是 bytes 数组。您可以使用getbit/setbit命令来处理这个位数组，位图的结构如下所示：

位图适用于一些特定的应用场景，比如用户签到次数、或者登录次数等。上图是表示一位用户 10 天内来网站的签到次数，1 代表签到，0 代表未签到，这样可以很轻松地统计出用户的活跃程度。相比于直接使用字符串而言，位图中的每一条记录仅占用一个 bit 位，从而大大降低了内存空间使用率。

Redis 官方也做了一个实验，他们模拟了一个拥有 1 亿 2 千 8 百万用户的系统，然后使用 Redis 的位图来统计“日均用户数量”，最终所用时间的约为 50ms，且仅仅占用 16 MB内存。

set hello big #放入key位hello 值为big的字符串
getbit hello 0 #取位图的第0个位置，返回0
getbit hello 1 #取位图的第1个位置，返回1

##我们可以直接操纵位
setbit key offset value #给位图指定索引设置值
setbit hello 7 1 #把hello的第7个位置设为1 这样，big就变成了cig

setbit test 50 1 #test不存在，在key为test的value的第50位设为1，那其他位都以0补

bitcount key [start end] #获取位图指定范围(start到end,单位为字节,注意按字节一个字节8个bit位，如果不指定就是获取全部)位值为1的个数

bitop op destkey key [key...] #做多个Bitmap的and(交集)/or(并集)/not(非)/xor(异或)，操作并将结果保存在destkey中 
bitop and after name age#把name和age按位与操作，放到after中

bitpos key targetBit start end #计算位图指定范围(start到end，单位为字节，如果不指定是获取全部)第一个偏移量对应的值等于targetBit的位置
bitpos hello 1 #big 对应位图中第一个1的位置，在第二个位置上，由于从0开始返回1
bitpos hello 0 #big 对应位图中第一个0的位置，在第一个位置上，由于从0开始返回0
bitpos hello 1 1 2 #返回9：返回从第一个字节到第二个字节之间 第一个1的位置

独立用户统计：

# 使用set和Bitmap对比
# 1亿用户，5千万独立（1亿用户量，约5千万人访问，统计活跃用户数量）

数据类型     每个用户id占用空间     需要存储用户量   全部内存
set             32位                5千万      32位*5千万=200MB
bitmap          1位                 1亿         1位*1亿=12.5MB

# 假设有10万独立用户，使用位图还是占用12.5mb，使用set需要32位*1万=4MB

总结：

1 位图类型是string类型，最大512M

2 使用setbit时偏移量如果过大，会有较大消耗

3 位图不是绝对好用，需要合理使用

十四 HyperLogLog

基于HyperLogLog算法：极小的空间完成独立数量统计。
本质还是字符串

三个命令

pfadd key element #向hyperloglog添加元素,可以同时添加多个
pfcount key #计算hyperloglog的独立总数
pfmerge destroy sourcekey1 sourcekey2#合并多个hyperloglog，把sourcekey1和sourcekey2合并为destroy

pfadd uuids "uuid1" "uuid2" "uuid3" "uuid4" #向uuids中添加4个uuid
pfcount uuids #返回4
pfadd uuids "uuid1" "uuid5"#有一个之前存在了，其实只把uuid5添加了
pfcount uuids #返回5

pfadd uuids1 "uuid1" "uuid2" "uuid3" "uuid4"
pfadd uuids2 "uuid3" "uuid4" "uuid5" "uuid6"
pfmerge uuidsall uuids1 uuids2 #合并
pfcount uuidsall #统计个数 返回6

内存消耗&总结

百万级别独立用户统计，百万条数据只占15k

错误率 0.81%

无法取出单条数据，只能统计个数

十五 GEO

Redis 3.2 版本新增了geo相关命令，用于存储和操作地理位置信息。提供的命令包括添加、计算位置之间距离、根据中心点坐标和距离范围来查询地理位置集合等，说明如下:

geoadd：添加地理位置的坐标。

geopos：获取地理位置的坐标。

geodist：计算两个位置之间的距离。

georadius：根据用户给定的经纬度坐标来获取指定范围内的地理位置集合。

georadiusbymember：根据储存在位置集合里面的某个地点获取指定范围内的地理位置集合。

geohash：返回一个或多个位置对象的 geohash 值。

geoadd key longitude latitude member #增加地理位置信息
geoadd cities:locations 116.28 39.55 beijing #把北京地理信息天津到cities:locations中
geoadd cities:locations 117.12 39.08 tianjin
geoadd cities:locations 114.29 38.02 shijiazhuang
geoadd cities:locations 118.01 39.38 tangshan
geoadd cities:locations 115.29 38.51 baoding
    
geopos key member #获取地理位置信息
geopos cities:locations beijing #获取北京地理信息

geodist key member1 member2 [unit]#获取两个地理位置的距离 unit:m(米) km(千米) mi(英里) ft(尺)
geodist cities:locations beijing tianjin km #北京到天津的距离，89公里

georadius key logitude latitude radiusm|km|ft|mi [withcoord] [withdist] [withhash] [COUNT count] [asc|desc] [store key][storedist key]

georadiusbymember key member radiusm|km|ft|mi [withcoord] [withdist] [withhash] [COUNT count] [asc|desc] [store key][storedist key]
#获取指定位置范围内的地理位置信息集合
'''
withcoord:返回结果中包含经纬度
withdist：返回结果中包含距离中心节点位置
withhash：返回解雇中包含geohash
COUNT count：指定返回结果的数量
asc|desc：返回结果按照距离中心店的距离做升序/降序排列
store key：将返回结果的地理位置信息保存到指定键
storedist key：将返回结果距离中心点的距离保存到指定键
'''
georadiusbymember cities:locations beijing 150 km
'''
1) "beijing"
2) "tianjin"
3) "tangshan"
4) "baoding"
'''

总结

3.2以后版本才有

geo本质时zset类型

可以使用zset的删除，删除指定member：zrem cities:locations beijing