安装
# 获取最新稳定版:https://redis.io/download
wget http://download.redis.io/releases/redis-5.0.7.tar.gz
tar xzf redis-5.0.7.tar.gz
cd redis-5.0.7/
make
# 启动服务端
cd src/
./redis-server & # ./redis-server ../redis.conf 这个可以指定配置文件
# 启动客户端测试
[root@centos-cm-test01 src]# ./redis-cli
127.0.0.1:6379> set name liyitong
OK
127.0.0.1:6379> get name
"liyitong"
切换
[root@centos-cm-test01 celeryTest]# /home/application/redis-5.0.7/src/redis-cli # 启动
127.0.0.1:6379> keys * # 获取所有key
(empty list or set)
127.0.0.1:6379> select 1 选择db1
OK
127.0.0.1:6379[1]> keys *
(empty list or set)
一、简介
- redis是一个非关系型的内存数据库,非关系型数据库是基于key-value存储数据的。
- 常用的非关系型数据库有(mongodb,redis)。
- redis是单线程单进程的,它的QPS理论上可以达到10w。
- redis支持持久化:有两种持久化的方案
- 与redis相似的有Memcached,Memcached是多线程的,支持的数据类型少,只支持字符串类型,不支持持久化。
- redis五大数据类型:
- k1:'123' 字符串
- k2:[1,2,3,4], 列表/数组
- k3:{1,2,3,4} 集合:去重,爬虫去重
- k4:{name:lqz,age:12} 字典/哈希表
- k5:{('lqz',18),('egon',33)} 有序集合:游戏排行榜
MySQL里有2000w数据,redis中只存20w的数据,如何保证redis中的数据都是热点数据?
相关知识:redis 内存数据集大小上升到一定大小的时候,就会施行数据淘汰策略。redis 提供 6种数据淘汰策略:
- voltile-lru:从已设置过期时间的数据集(server.db[i].expires)中挑选最近最少使用的数据淘汰
- volatile-ttl:从已设置过期时间的数据集(server.db[i].expires)中挑选将要过期的数据淘汰
- volatile-random:从已设置过期时间的数据集(server.db[i].expires)中任意选择数据淘汰
- allkeys-lru:从数据集(server.db[i].dict)中挑选最近最少使用的数据淘汰
- allkeys-random:从数据集(server.db[i].dict)中任意选择数据淘汰 no-enviction(驱逐):禁止驱逐数据
二、python操作redis(pip3 install redis)
一:直接导入使用
from redis import Redis
# Redis实例化产生对象,就是拿到一个redis的连接
conn=Redis()
# 操作redis(value部分都是以byte格式存储)
ret=conn.get('name')
print(ret)
二:redis连接池(pool需要做成单例,单独写一个文件,即py模块,生成一个池,需要的时候导入使用即可)
from redis import ConnectionPool
pool=ConnectionPool(host='127.0.0.1',port=6379,max_connections=100)
conn=Redis(connection_pool=pool)
print(conn.get('name'))
三、redis之字符串操作
conn.set(self, name, value, ex=None, px=None, nx=False, xx=False)
在Redis中设置值,默认,不存在则创建,存在则修改 参数: ex,过期时间(秒) px,过期时间(毫秒) nx,如果设置为True,则只有name不存在时,当前set操作才执行,值存在,就修改不了,执行没效果 xx,如果设置为True,则只有name存在时,当前set操作才执行,值存在才能修改,值不存在,不会设置新值
conn.setnx(self, name, value)
设置值,只有name不存在时,执行设置操作(添加),如果存在,不会修改
conn.setex(self, name, time, value):设置值,time参数是过期时间
conn.psetex(self, name, time_ms, value):设置值,time_ms是过期时间,以毫秒计
conn.mset(self, mapping):批量设置值
例:conn.mset({'k1': 'v1', 'k2': 'v2'})
conn.get('k1'):取值,取出的值格式是Bytes类型
conn.mget('k1', 'k2') 或 conn.mget(['k1', 'k2']):批量获取值
conn.getset('k1', 'vv'):获取k1原来的值并对其设置新值'vv'
conn.getrange(name, start, end)
获取子序列(根据字节获取,非字符) 参数: name,Redis 的 name start,起始位置(字节) end,结束位置(字节) 如: "刘帅比" ,0-2表示 "刘"
conn.setrange(self, name, offset, value):修改字符串内容,从指定字符串索引开始向后替换(新值太长时,则向后添加)
参数: offset,字符串的索引,字节(一个汉字三个字节) value,要设置的值
conn.strlen(self, name):返回name对应值的字节长度(一个汉字3个字节)
conn.incr(self, name, amount=1):自增 name对应的值,值必须为整型; 当name不存在(即key不存在)时,则创建name=amount,并将值设为amount对应的值; 如果amount指定为负数,就是自减; 应用场景:网站访问量
conn.decr(self, name, amount=1):自减
conn.append(self, key, value): 在redis name对应的值后面追加内容(字符串拼接)
四、 Hash操作
conn.hset(self, name, key, value):name对应的hash中设置一个键值对(不存在,则创建;否则,修改)
参数: name,redis的name key,name对应的hash中的key value,name对应的hash中的value
注:hsetnx(name, key, value),当name对应的hash中不存在当前key时则创建(相当于添加)
conn.hmset(self, name, mapping):在name对应的hash中批量设置键值对
例如:conn.hmset('hash2', {'name': 'shj', 'age': 18})
conn.hget(self, name, key):在name对应的hash中根据key获取value
例:print(conn.hget('hash2', 'name'))
conn.hmget(self, name, keys, *args):在name对应的hash中获取多个key的值
例: conn.hmget('xx', ['k1', 'k2']) 或 conn.hmget('xx', 'k1', 'k2')
conn.hgetall(self, name):获取name对应hash的所有键值
print(conn.hgetall('hash2')) # {b'name': b'shj', b'age': b'18'} print(conn.hgetall('hash2')[b'name']) # b'shj'
conn.hlen(self, name):获取name对应的hash中键值对的个数
print(conn.hlen('hash2'))
conn.hkeys(self, name):获取name对应的hash中所有的key的值
conn.hvals(self, name):获取name对应的hash中所有的value的值
conn.hexists(self, name, key):检查name对应的hash是否存在当前传入的key
print(conn.hexists('hash2', 'name'))
conn.hdel(self, name, *keys):将name对应的hash中指定key的键值对删除
conn.hdel('hash2', 'name', 'age')
conn.hincrby(self, name, key, amount=1):自增name对应的hash中的指定key的值,key不存在就创建
例:conn.hincrby('hash1', 'k1'),当k1不存在时,创建k1
conn.hincrbyfloat(self, name, key, amount=1.0):
自增name对应的hash中的指定key的值,不存在则创建 参数: name,redis中的name key, hash对应的key amount,自增数(浮点数)
conn.hscan(self, name, cursor=0, match=None, count=None):增量式迭代获取,对于数据大的数据非常有用,hscan可以实现分片的获取数据,并非一次性将数据全部获取完,从而放置内存被撑爆
参数: name,redis的name cursor,游标(基于游标分批取获取数据) match,匹配指定key,默认None 表示所有的key count,每次分片最少获取个数,默认None表示采用Redis的默认分片个数
conn.hscan_iter(self, name, match=None, count=None):得到的是一个生成器
for i in conn.hscan_iter('hash3', count=100): print(i)
参数count指定的是一次取出多少个,直到取完。
获取字典所有数据的时候,推荐用这个,而不用hgetall
五、列表操作
conn.lpush(self, name, *values):从左往里面添加值
conn.rpush(self, name, *values):从右往里面添加值
例:
conn.lpush('list1', '12') conn.lpush('list1', '12') conn.lpush('list1', '16') conn.rpush('list1', '20')
conn.llen(self, name):获取列表长度
conn.linsert(self, name, where, refvalue, value):在name对应的列表的某一个值前或后插入一个新值
参数: name,redis的name where,BEFORE或AFTER(小写也可以) refvalue,标杆值,即:在它前后插入数据(如果存在多个标杆值,以找到的第一个为准) value,要插入的数据
conn.linsert('list1', 'AFTER', 20, 100)
conn.lset('list1', 2, 500):对name对应的list中的某一个索引位置重新赋值
conn.lrem(self, name, count, value):在name对应的list中删除指定的值
参数: name,redis的name value,要删除的值 num, num=0,删除列表中所有的指定值; num=2,从前到后,删除2个; num=-2,从后向前,删除2个
conn.lindex(self, name, index):根据索引取值
conn.lrange(self, name, start, end):在name对应的列表分片获取数据
参数:(start和end是闭合区间,都包含) name,redis的name start,索引的起始位置 end,索引结束位置
conn.lpop(self, name): 在name对应的列表的左侧获取第一个元素并在列表中移除,返回值则是第一个元素
conn.rpop(name) 表示从右向左操作
conn.blpop(self, keys, timeout=0):将多个列表排列,按照从左到右去pop对应列表的元素,如果没有元素了就会阻塞,直到有新的元素插入。
参数: keys,redis的name的集合 timeout,超时时间,当元素所有列表的元素获取完之后,阻塞等待列表内有数据的时间(秒), 0 表示永远阻塞
blpop返回值是元组(b'key', b'value')
利用blpop可以实现分布式:例如分布式计算1-50,51-100的和
池文件:
from redis import ConnectionPool POOL = ConnectionPool(host='127.0.0.1', port=6379, max_connections=100)
1-50:计算后放到redis
from redis import Redis from app01.redis_pool import POOL conn = Redis(connection_pool=POOL) sum = 0 for i in range(1,51): sum += i conn.lpush('sum', sum)
51-100:拿出1-50的和,再接着计算
from app01.redis_pool import POOL from redis import Redis conn = Redis(connection_pool=POOL) sum = int(conn.blpop('sum')[1].decode('utf-8')) for i in range(51, 101): sum += i print(sum)
自定义增量迭代获取列表中的所有值
由于redis类库中没有提供对列表元素的增量迭代,如果想要循环name对应的列表的所有元素,那么就需要: 1、获取name对应的所有列表 2、循环列表 但是,如果列表非常大,那么就有可能在第一步时就将程序的内容撑爆,所有有必要自定义一个增量迭代的功能:
def scan_list(name, count=2): index = 0 while True: data_list = conn.lrange(name, index, count+index-1) if not data_list: return index += count for item in data_list: yield item for i in scan_list('list1', 5): print('---') print(i)
六、集合操作
Set操作,Set集合就是不允许重复的列表
sadd(name,values)
# name对应的集合中添加元素
scard(name)
获取name对应的集合中元素个数
sdiff(keys, *args)
在第一个name对应的集合中且不在其他name对应的集合的元素集合
sdiffstore(dest, keys, *args)
# 获取第一个name对应的集合中且不在其他name对应的集合,再将其新加入到dest对应的集合中
sinter(keys, *args)
# 获取多一个name对应集合的并集
sinterstore(dest, keys, *args)
# 获取多一个name对应集合的并集,再讲其加入到dest对应的集合中
sismember(name, value)
# 检查value是否是name对应的集合的成员
smembers(name)
# 获取name对应的集合的所有成员
smove(src, dst, value)
# 将某个成员从一个集合中移动到另外一个集合
spop(name)
# 从集合的右侧(尾部)移除一个成员,并将其返回
srandmember(name, numbers)
# 从name对应的集合中随机获取 numbers 个元素
srem(name, values)
# 在name对应的集合中删除某些值
srem(name, values)
# 在name对应的集合中删除某些值
sunion(keys, *args)
# 获取多一个name对应的集合的并集
sunionstore(dest,keys, *args)
# 获取多一个name对应的集合的并集,并将结果保存到dest对应的集合中
sscan(name, cursor=0, match=None, count=None)
sscan_iter(name, match=None, count=None)
# 同字符串的操作,用于增量迭代分批获取元素,避免内存消耗太大
有序集合,在集合的基础上,为每元素排序;元素的排序需要根据另外一个值来进行比较,所以,对于有序集合,每一个元素有两个值,即:值和分数,分数专门用来做排序。
zadd(name, *args, **kwargs)
# 在name对应的有序集合中添加元素 # 如: # zadd('zz', 'n1', 1, 'n2', 2) # 或 # zadd('zz', n1=11, n2=22)
zcard(name)
# 获取name对应的有序集合元素的数量
zcount(name, min, max)
# 获取name对应的有序集合中分数 在 [min,max] 之间的个数
zincrby(name, value, amount)
# 自增name对应的有序集合的 name 对应的分数
r.zrange( name, start, end, desc=False, withscores=False, score_cast_func=float)
# 按照索引范围获取name对应的有序集合的元素 # 参数: # name,redis的name # start,有序集合索引起始位置(非分数) # end,有序集合索引结束位置(非分数) # desc,排序规则,默认按照分数从小到大排序 # withscores,是否获取元素的分数,默认只获取元素的值 # score_cast_func,对分数进行数据转换的函数 # 更多: # 从大到小排序 # zrevrange(name, start, end, withscores=False, score_cast_func=float) # 按照分数范围获取name对应的有序集合的元素 # zrangebyscore(name, min, max, start=None, num=None, withscores=False, score_cast_func=float) # 从大到小排序 # zrevrangebyscore(name, max, min, start=None, num=None, withscores=False, score_cast_func=float)
zrank(name, value)
# 获取某个值在 name对应的有序集合中的排行(从 0 开始) # 更多: # zrevrank(name, value),从大到小排序
zrangebylex(name, min, max, start=None, num=None)
# 当有序集合的所有成员都具有相同的分值时,有序集合的元素会根据成员的 值 (lexicographical ordering)来进行排序,而这个命令则可以返回给定的有序集合键 key 中, 元素的值介于 min 和 max 之间的成员 # 对集合中的每个成员进行逐个字节的对比(byte-by-byte compare), 并按照从低到高的顺序, 返回排序后的集合成员。 如果两个字符串有一部分内容是相同的话, 那么命令会认为较长的字符串比较短的字符串要大 # 参数: # name,redis的name # min,左区间(值)。 + 表示正无限; - 表示负无限; ( 表示开区间; [ 则表示闭区间 # min,右区间(值) # start,对结果进行分片处理,索引位置 # num,对结果进行分片处理,索引后面的num个元素 # 如: # ZADD myzset 0 aa 0 ba 0 ca 0 da 0 ea 0 fa 0 ga # r.zrangebylex('myzset', "-", "[ca") 结果为:['aa', 'ba', 'ca'] # 更多: # 从大到小排序 # zrevrangebylex(name, max, min, start=None, num=None)
zrem(name, values)
# 删除name对应的有序集合中值是values的成员 # 如:zrem('zz', ['s1', 's2'])
zremrangebyrank(name, min, max)
# 根据排行范围删除
zremrangebyscore(name, min, max)
# 根据分数范围删除
zremrangebylex(name, min, max)
# 根据值返回删除
zscore(name, value)
# 获取name对应有序集合中 value 对应的分数
zinterstore(dest, keys, aggregate=None)
# 获取两个有序集合的交集,如果遇到相同值不同分数,则按照aggregate进行操作 # aggregate的值为: SUM MIN MAX
zunionstore(dest, keys, aggregate=None)
# 获取两个有序集合的并集,如果遇到相同值不同分数,则按照aggregate进行操作 # aggregate的值为: SUM MIN MAX
zscan(name, cursor=0, match=None, count=None, score_cast_func=float)
zscan_iter(name, match=None, count=None,score_cast_func=float)
# 同字符串相似,相较于字符串新增score_cast_func,用来对分数进行操作
七、其他操作
delete(*names)
# 根据删除redis中的任意数据类型
exists(name)
# 检测redis的name是否存在
keys(pattern='*')
# 根据模型获取redis的name # 更多: # KEYS * 匹配数据库中所有 key 。 # KEYS h?llo 匹配 hello , hallo 和 hxllo 等。 # KEYS h*llo 匹配 hllo 和 heeeeello 等。 # KEYS h[ae]llo 匹配 hello 和 hallo ,但不匹配 hillo
expire(name ,time)
# 为某个redis的某个name设置超时时间
rename(src, dst)
# 对redis的name重命名为
move(name, db))
# 将redis的某个值移动到指定的db下
randomkey()
# 随机获取一个redis的name(不删除)
type(name)
# 获取name对应值的类型
scan(cursor=0, match=None, count=None)
scan_iter(match=None, count=None)
# 同字符串操作,用于增量迭代获取key
八、管道:实现事务
redis-py默认在执行每次请求都会创建(连接池申请连接)和断开(归还连接池)一次连接操作,如果想要在一次请求中指定多个命令,则可以使用pipline实现一次请求指定多个命令,并且默认情况下一次pipline 是原子性操作。
from redis import Redis,ConnectionPool
pool = ConnectionPool(host='127.0.0.1', port=6379)
conn = Redis(connection_pool=pool)
pipe = conn.pipeline(transaction=True)
pipe.multi()
pipe.set('name', 'lzp')
pipe.set('role', 'dsb')
pipe.execute() # 添加完任务再执行
九、在django中使用redis
9.1、所有框架都能用的方式
首先新建一个文件,生成一个redis连接池(redis_pool.py)
from redis import ConnectionPool
POOL = ConnectionPool(host='127.0.0.1',port=6379,max_connections=100)
视图中使用:
from django.shortcuts import render, HttpResponse
from app01.redis_pool import POOL
from redis import Redis
def index(request):
conn = Redis(connection_pool=POOL)
conn.set('xxx', 'yyy')
name = conn.get('name') # 拿出的是bytes格式数据
return HttpResponse(name)
9.2、django中使用:django-redis模块
首先安装django-redis模块
然后在settings.py中配置
# redis配置
CACHES = {
"default": {
"BACKEND": "django_redis.cache.RedisCache",
"LOCATION": "redis://127.0.0.1:6379",
"OPTIONS": {
"CLIENT_CLASS": "django_redis.client.DefaultClient",
"CONNECTION_POOL_KWARGS": {"max_connections": 100}
# "PASSWORD": "123",
}
}
}
在使用的位置:
from django_redis import get_redis_connection
conn = get_redis_connection('default')
print(conn.hgetall('xxx'))