分布式爬虫scrapy-redis
关注
分享
扫一扫
s_kangkang_A
后来许多人问我一个人夜晚踟蹰路上的心情，我想起的却不是孤单和路长，而是波澜壮阔的海和天空中闪耀的星光。
展开
-
windows系统下redis及相关软件安装，redis基本操作
redis的安装并不是很难，这里简单介绍一下： https://github.com/MicrosoftArchive/redis/releases redis自己是不支持windows的，但是微软的开源小组把redis开源资源放到了github上，我们可以下载 这里有个小技巧，如果你用浏览器下载过慢或者失败的话，就按照下面的来做： 鼠标右键第一个，也就是msi文件，会出来“复制链接...原创 2019-05-10 15:19:50 · 228 阅读 · 2 评论 -
房天下房源爬取：scrapy-redis分布式爬虫（一）
从前几天就开始准备写一个简单地分布式爬虫的项目了，今天算是把问题和bug逐渐解决了，所以会陆续放上来。 主机是windows即此电脑，项目也是在windows下写的，运行会放在linux下的ubuntu系统。 项目是爬取房天下网站全国600多个城市的所有新房和二手房信息 今天主要记录一下windows下项目的完成，和数据库存储。新房存储在MySQL数据库，二手房存储在mongo数据库。 这...原创 2019-05-16 21:30:01 · 820 阅读 · 1 评论