基于djang、vue、scrapy-redis、高德地图的豆瓣租房租房信息爬取、存储、可视化综合项目

1、scrapy-redis部分 这里主要是用分布式爬虫爬取所有的豆瓣租房信息,然后去重、存数据库(MySQL)。使用分布式的好处是爬取快,可以分布在多台机器上爬取;然后redis可以结合django使用,做到在前台点击一下按钮就可以更新redis键值,从而使scrapy-redis继续爬取最新租...

2018-10-31 22:03:40

阅读数 376

评论数 0

Scrapy-Redis 爬取快代理免费

前面写过使用scrapy爬取快代理的免费ip 接下来使用的是基于Redis的分布式scrapy爬取快代理免费ip 1、准备好Redis 如何安装和使用Redis这里就不做介绍了,没有安装的可以参考我之前的博客。 注意:如果要在不同的机器上使用,要开启Redis的远程访问 2、创建好虚拟环境并在虚拟...

2018-10-21 12:07:57

阅读数 417

评论数 0

Python&Redis 发布订阅

1、Redis控制台操作 先开启一个Redis控制台开启订阅: SUBSCRIBE fm666 返回参数解释: subscribe,表示订阅成功 unsubscribe,表示取消订阅成功 message,表示其它终端发布消息 然后开启一个Redis控制台开始发布消息: PUBLISH fm666...

2018-10-07 14:58:56

阅读数 762

评论数 0

Python 使用pipeline 一次性操作 Redis

1、普通操作实例 import redis # 连接池方式 db表示选择数据库 pool = redis.ConnectionPool(host='111.231.135.184',port=6379,db=0) r = redis.Redis(connection_pool=pool) r.s...

2018-10-07 14:52:39

阅读数 682

评论数 0

Python&Redis 无序集合set、有序集合zset操作

1、Redis控制台操作无序集合set 无序集合 元素为string类型 元素具有唯一性,不重复 redis操作: 设置 添加元素 SADD key member [member ...] 获取 返回key集合所有的元素 SMEMBERS key 返回集合元素个数 SCARD key 其它 求多个...

2018-10-07 14:49:39

阅读数 967

评论数 0

Python&Redis hash操作

1、Redis 控制台操作 hash操作:解释,hash类似于一个集合操作,例如要设置一个人的name age sex 可以使用hash设置 实例: hset info name aea age 22 sex man 设置一个key为info 内容类似集合 name:aea age:22 sex...

2018-10-07 14:45:37

阅读数 596

评论数 0

Python&Redis list操作

1、Redis操作 redis操作: 实例:设置一个列表并查询 lpush qwe 123 设置一个元素 lpush qwe test 设置下一个元素 type qwe 查看qwe的类型 lrange qwe 0 0 获取0到0个元素 lrange qwe 0 2 ...

2018-10-07 14:44:11

阅读数 708

评论数 0

Python&Redis string操作

1、Redis控制台操作 set key value 设置键值 SETEX key seconds value 设置键值及过期时间,以秒为单位 MSET key value [key value ...] 设置多个键值 GET key 根据键获取值,如果不存在此键则返回nil...

2018-10-07 14:42:25

阅读数 488

评论数 0

Linux 安装redis 开启远程访问、密码验证等

1、安装redis CentOS下: 下载redis wget http://download.redis.io/releases/redis-4.0.10.tar.gz 解压redis tar zxf redis-4.0.10.tar.gz 编译并安装redis cd redis-4.0.1...

2018-10-07 14:31:38

阅读数 482

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭