本文介绍了如何使用Python和Redis构建代理IP池。首先讲解了Redis的基础操作，包括数据类型、键命令以及主从配置。接着展示了如何利用Redis存储和管理代理IP，通过多进程和多线程实现高效抓取和测试IP的有效性。最后，作者反思了项目中的效率问题，并提到在优化过程中遇到的挑战。
Python爬虫-Redis
前言
作为跟MongoDB同样NoSQL阵营的Redis，也具有类似的“直爽快”特性。它本身读取速度快，又提供丰富的数据结构，避免程序员重复造轮子。大名鼎鼎的分布式scrapy也是基于redis，所以赶紧了解一下呗！
启动服务器
建议指定配置文件的方式启动，我的配置文件所在路径： /etc/redis/redis-server.conf 就不知道你们的是不是啦
启动方式：redis-server /etc/redis/redis-server.conf
启动客户端
- 进入命令行：
redis-cli - 退出客户端：
exit
数据操作
redis是key-value的数据，key的类型是字符串，value类型可以是：string,hash,list,set,zset
string
最基本类型，最大存储512M数据，可存储任何数据：数字，图片，序列化对象等
- 设置键值：
set key value
- 也可以一次设置多个数据：
mset key1 value1 key2 value2 key3 value3...
- 获取键值：
get key；也可以一次获取多个键值：mget key1 key2 key3...
如果不存在，返回nil - 甚至还能追加键值：
append key value
- 也可以获取键值长度（有点像C语法哇）：
strlen key
- 也可以在设置键值的时候设置过期时间：
setex key seconds value
- 运算（键值要求为数值）：
incr key键值+1；incrby key increment键值指定+increment ；相对应的就有decr key键值-1，decrby key increment指定-increment
键命令
（不仅仅针对于string类型，其他value类型的key都适用）
- 查找键：
keys pattern（支持正则），所以查看全部键可以是keys *
- 查看键是否存在：
exists key，存在返回1，不存在返回0
也可以一次查询多个键：exists key1 key2 ...，返回值为总和
最低0.47元/天 解锁文章
扫一扫
1227
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
