Redis是一个基于内存的高效的键值型非关系型数据库,存取效率极高,而且支持多种存储数据结构,使用也非常简单。本节中,我们就来介绍一下Python的Redis操作,主要介绍RedisPy这个库的用法。
1. 准备工作
在开始之前,请确保已经安装好了Redis及RedisPy库。如果要做数据导入/导出操作的话,还需要安装RedisDump。如果没有安装,可以参考第1章。
2. Redis和StrictRedis
RedisPy库提供两个类Redis
和StrictRedis
来实现Redis的命令操作。
StrictRedis
实现了绝大部分官方的命令,参数也一一对应,比如set()
方法就对应Redis命令的set
方法。而Redis
是StrictRedis
的子类,它的主要功能是用于向后兼容旧版本库里的几个方法。为了做兼容,它将方法做了改写,比如lrem()
方法就将value
和num
参数的位置互换,这和Redis命令行的命令参数不一致。
官方推荐使用StrictRedis
,所以本节中我们也用StrictRedis类
的相关方法作演示。
3. 连接Redis
现在我们已经在本地安装了Redis并运行在6379端口,密码设置为foobared。那么,可以用如下示例连接Redis并测试:
1
2
3
4
5
|
from redis import StrictRedis
redis = StrictRedis(host='localhost', port=6379, db=0, password='foobared')
redis.set('name', 'Bob')
print(redis.get('name'))
|
这里我们传入了Redis的地址、运行端口、使用的数据库和密码信息。在默认不传的情况下,这4个参数分别为localhost
、6379
、0
和None
。首先声明了一个StrictRedis
对象,接下来调用set()
方法,设置一个键值对,然后将其获取并打印。
运行结果如下:
1
|
b'Bob'
|
这说明我们连接成功,并可以执行set()
和get()
操作了。
当然,我们还可以使用ConnectionPool
来连接,示例如下:
1
2
3
4
|
from redis import StrictRedis, ConnectionPool
pool = ConnectionPool(host='localhost', port=6379, db=0, password='foobared')
redis = StrictRedis(connection_pool=pool)
|
这样的连接效果是一样的。观察源码可以发现,StrictRedis
内其实就是用host
和port
等参数又构造了一个ConnectionPool
,所以直接将ConnectionPool
当作参数传给StrictRedis
也一样。
另外,ConnectionPool
还支持通过URL来构建。URL的格式支持有如下3种:
1
2
3
|
redis://[:password]@host:port/db
rediss://[:password]@host:port/db
unix://[:password]@/path/to/socket.sock?db=db
|
这3种URL分别表示创建Redis TCP连接、Redis TCP+SSL连接、Redis UNIX socket连接。我们只需要构造上面任意一种URL即可,其中password
部分如果有则可以写,没有则可以省略。下面再用URL连接演示一下:
1
2
3
|
url = 'redis://:foobared@localhost:6379/0'
pool = ConnectionPool.from_url(url)
redis = StrictRedis(connection_pool=pool)
|
这里我们使用第一种连接字符串进行连接。首先,声明一个Redis连接字符串,然后调用from_url()
方法创建ConnectionPool
,接着将其传给StrictRedis
即可完成连接,所以使用URL的连接方式还是比较方便的。
4. 键操作
表5-5总结了键的一些判断和操作方法。
表5-5 键的一些判断和操作方法
方法 | 作用 | 参数说明 | 示例 | 示例说明 | 示例结果 |
---|---|---|---|---|---|
| 判断一个键是否存在 |
|
| 是否存在 |
|
| 删除一个键 |
|
| 删除 | 1 |
| 判断键类型 |
|
| 判断 |
|
| 获取所有符合规则的键 |
|
| 获取所有以 |
|
| 获取随机的一个键 |
| 获取随机的一个键 |
| |
| 重命名键 |
|
| 将 |
|
| 获取当前数据库中键的数目 |
| 获取当前数据库中键的数目 | 100 | |
| 设定键的过期时间,单位为秒 |
|
| 将 |
|
| 获取键的过期时间,单位为秒,-1表示永久不过期 |
|
| 获取 | -1 |
| 将键移动到其他数据库 |
|
| 将 |
|
| 删除当前选择数据库中的所有键 |
| 删除当前选择数据库中的所有键 |
| |
| 删除所有数据库中的所有键 |
| 删除所有数据库中的所有键 |
|
5. 字符串操作
Redis支持最基本的键值对形式存储,用法总结如表5-6所示。
表5-6 键值对形式存储
方法 | 作用 | 参数说明 | 示例 | 示例说明 | 示例结果 |
---|---|---|---|---|---|
| 给数据库中键为 |
|
| 给 |
|
| 返回数据库中键为 |
|
| 返回 |
|
| 给数据库中键为 |
|
| 赋值 |
|
| 返回多个键对应的 |
|
| 返回 |
|
| 如果不存在这个键值对,则更新 |
|
| 如果 | 第一次运行结果是 |
| 设置可以对应的值为 |
|
| 将 |
|
| 设置指定键的 |
|
| 设置 | 11,修改后的字符串长度 |
| 批量赋值 |
|
| 将 |
|
| 键均不存在时才批量赋值 |
|
| 在 |
|
| 键为 |
|
|
| 1,即修改后的值 |
| 键为 |
|
|
| -1,即修改后的值 |
| 键为 |
|
| 向键为 | 13,即修改后的字符串长度 |
| 返回键为 |
|
| 返回键为 |
|
| 获取键的 |
|
| 返回键为 |
|
6. 列表操作
Redis还提供了列表存储,列表内的元素可以重复,而且可以从两端存储,用法如表5-7所示。
表5-7 列表操作
方法 | 作用 | 参数说明 | 示例 | 示例说明 | 示例结果 |
---|---|---|---|---|---|
| 在键为 |
|
| 向键为 | 3,列表大小 |
| 在键为 |
|
| 向键为 | 4,列表大小 |
| 返回键为 |
|
| 返回键为 | 4 |
| 返回键为 |
|
| 返回起始索引为1终止索引为3的索引范围对应的列表 |
|
| 截取键为 |
|
| 保留键为 |
|
| 返回键为 |
|
| 返回键为 | b’2′ |
| 给键为 |
|
| 将键为 |
|
| 删除 |
|
| 将键为 | 1,即删除的个数 |
| 返回并删除键为 |
|
| 返回并删除名为 |
|
| 返回并删除键为 |
|
| 返回并删除名为 |
|
| 返回并删除名称在 |
|
| 返回并删除键为 |
|
| 返回并删除键为 |
|
| 返回并删除名为 |
|
| 返回并删除名称为 |
|
| 将键为 |
|
7. 集合操作
Redis还提供了集合存储,集合中的元素都是不重复的,用法如表5-8所示。
表5-8 集合操作
方法 | 作用 | 参数说明 | 示例 | 示例说明 | 示例结果 |
---|---|---|---|---|---|
| 向键为 |
|
| 向键为 | 3,即插入的数据个数 |
| 从键为 |
|
| 从键为 | 1,即删除的数据个数 |
| 随机返回并删除键为 |
|
| 从键为 |
|
| 从 |
|
| 从键为 |
|
| 返回键为 |
|
| 获取键为 | 3 |
| 测试 |
|
| 判断 |
|
| 返回所有给定键的集合的交集 |
|
| 返回键为 |
|
| 求交集并将交集保存到 |
|
| 求键为 | 1 |
| 返回所有给定键的集合的并集 |
|
| 返回键为 |
|
| 求并集并将并集保存到 |
|
| 求键为 | 3 |
| 返回所有给定键的集合的差集 |
|
| 返回键为 |
|
| 求差集并将差集保存到 |
|
| 求键为tags | 3 |
| 返回键为 |
|
| 返回键为 |
|
| 随机返回键为 |
|
| 随机返回键为 |
8. 有序集合操作
有序集合比集合多了一个分数字段,利用它可以对集合中的数据进行排序,其用法总结如表5-9所示。
表5-9 有序集合操作
方法 | 作用 | 参数说明 | 示例 | 示例说明 | 示例结果 |
---|---|---|---|---|---|
| 向键为 |
|
| 向键为 | 2,即添加的元素个数 |
| 删除键为 |
|
| 从键为 | 1,即删除的元素个数 |
| 如果在键为 |
|
| 键为 | 98.0,即修改后的值 |
| 返回键为 |
|
| 得到键为 | 1 |
| 返回键为 |
|
| 得到键为 | 2 |
| 返回键为 |
|
| 返回键为 |
|
| 返回键为 |
|
| 返回键为 |
|
| 返回键为 |
|
| 返回键为 | 2 |
| 返回键为 |
|
| 获取键为 | 3 |
| 删除键为 |
|
| 删除键为 | 1,即删除的元素个数 |
| 删除键为 |
|
| 删除 | 1,即删除的元素个数 |
9. 散列操作
Redis还提供了散列表的数据结构,我们可以用name
指定一个散列表的名称,表内存储了各个键值对,用法总结如表5-10所示。
表5-10 散列操作
方法 | 作用 | 参数说明 | 示例 | 示例说明 | 示例结果 |
---|---|---|---|---|---|
| 向键为 |
|
| 向键为 | 1,即添加的映射个数 |
| 如果映射键名不存在,则向键为 |
|
| 向键为 | 1,即添加的映射个数 |
| 返回键为 |
|
| 获取键为 | 5 |
| 返回键为 |
|
| 获取键为 |
|
| 向键为 |
|
| 向键为 |
|
| 将键为 |
|
|
| 6,修改后的值 |
| 键为 |
|
| 键为 |
|
| 在键为 |
|
| 从键为 |
|
| 从键为 |
|
| 从键为 | 6 |
| 从键为 |
|
| 从键为 |
|
| 从键为 |
|
| 从键为 |
|
| 从键为 |
|
| 从键为 |
|
10. RedisDump
RedisDump提供了强大的Redis数据的导入和导出功能,现在就来看下它的具体用法。
首先,确保已经安装好了RedisDump。
RedisDump提供了两个可执行命令:redis-dump
用于导出数据,redis-load
用于导入数据。
redis-dump
首先,可以输入如下命令查看所有可选项:
1
|
redis-dump -h
|
运行结果如下:
Usage: redis-dump [global options] COMMAND [command options] -u, --uri=S Redis URI (e.g. redis://hostname[:port]) -d, --database=S Redis database (e.g. -d 15) -s, --sleep=S Sleep for S seconds after dumping (for debugging) -c, --count=S Chunk size (default: 10000) -f, --filter=S Filter selected keys (passed directly to redis' KEYS command) -O, --without_optimizations Disable run time optimizations -V, --version Display version -D, --debug --nosafe复制代码
其中-u
代表Redis连接字符串,-d
代表数据库代号,-s
代表导出之后的休眠时间,-c
代表分块大小,默认是10000,-f
代表导出时的过滤器,-O
代表禁用运行时优化,-V
用于显示版本,-D
表示开启调试。
我们拿本地的Redis做测试,运行在6379端口上,密码为foobared,导出命令如下:
1
|
redis-dump -u :foobared@localhost:6379
|
如果没有密码的话,可以不加密码前缀,命令如下:
1
|
redis-dump -u localhost:6379
|
运行之后,可以将本地0至15号数据库的所有数据输出出来,例如:
1
2
3
4
5
6
7
8
|
{"db":0,"key":"name","ttl":-1,"type":"string","value":"James","size":5}
{"db":0,"key":"name2","ttl":-1,"type":"string","value":"Durant","size":6}
{"db":0,"key":"name3","ttl":-1,"type":"string","value":"Durant","size":6}
{"db":0,"key":"name4","ttl":-1,"type":"string","value":"HelloWorld","size":10}
{"db":0,"key":"name5","ttl":-1,"type":"string","value":"James","size":5}
{"db":0,"key":"name6","ttl":-1,"type":"string","value":"James","size":5}
{"db":0,"key":"age","ttl":-1,"type":"string","value":"1","size":1}
{"db":0,"key":"age2","ttl":-1,"type":"string","value":"-5","size":2}
|
每条数据都包含6个字段,其中db
即数据库代号,key
即键名,ttl
即该键值对的有效时间,type
即键值类型,value
即内容,size
即占用空间。
如果想要将其输出为JSON行文件,可以使用如下命令:
1
|
redis-dump -u :foobared@localhost:6379 > ./redis_data.jl
|
这样就可以成功将Redis的所有数据库的所有数据导出成JSON行文件了。
另外,可以使用-d
参数指定某个数据库的导出,例如只导出1号数据库的内容:
1
|
redis-dump -u :foobared@localhost:6379 -d 1 > ./redis.data.jl
|
如果只想导出特定的内容,比如想导出以adsl
开头的数据,可以加入-f
参数用来过滤,命令如下:
1
|
redis-dump -u :foobared@localhost:6379 -f adsl:* > ./redis.data.jl
|
其中-f
参数即Redis的keys
命令的参数,可以写一些过滤规则。
redis-load
同样,我们可以首先输入如下命令查看所有可选项:
1
|
redis-load -h
|
运行结果如下:
redis-load --help Try: redis-load [global options] COMMAND [command options] -u, --uri=S Redis URI (e.g. redis://hostname[:port]) -d, --database=S Redis database (e.g. -d 15) -s, --sleep=S Sleep for S seconds after dumping (for debugging) -n, --no_check_utf8 -V, --version Display version -D, --debug --nosafe复制代码
其中-u
代表Redis连接字符串,-d
代表数据库代号,默认是全部,-s
代表导出之后的休眠时间,-n
代表不检测UTF-8编码,-V
表示显示版本,-D
表示开启调试。
我们可以将JSON行文件导入到Redis数据库中:
1
|
< redis_data.json redis-load -u :foobared@localhost:6379
|
这样就可以成功将JSON行文件导入到数据库中了。
另外,下面的命令同样可以达到同样的效果:
1
|
cat redis_data.json | redis-load -u :foobared@localhost:6379
|
本节中,我们不仅了解了RedisPy对Redis数据库的一些基本操作,还演示了RedisDump对数据的导入导出操作。由于其便捷性和高效性,后面我们会利用Redis实现很多架构,如维护代理池、Cookies池、ADSL拨号代理池、Scrapy-Redis分布式架构等,所以Redis的操作需要好好掌握。
本资源首发于崔庆才的个人博客静觅: Python3网络爬虫开发实战教程 | 静觅
如想了解更多爬虫资讯,请关注我的个人微信公众号:进击的Coder
weixin.qq.com/r/5zsjOyvEZ… (二维码自动识别)