scrapy
daidaixiong1234
如果我写的对你有用,记得踩一下哦~~~
展开
-
转载 ------------- scrapy 中判断重复内容的方法(RFPDupeFilter)
转载于http://www.leyle.com/archives/scrapy_dupefilter.html scrapy 中判断重复内容的方法(RFPDupeFilter) 作者:代码猴 时间:April 15, 2015 分类:python scrapy 中判断重复内容的方法(RFPDupeFilter) 爬虫抓取数据时,重复肯定是存在的,scrapy转载 2015-09-26 10:38:31 · 16301 阅读 · 0 评论 -
旧版本scrapy升级新版本遇到的一些问题
最近有新同学学抓数据,他们看的是中文文档,大概是0.25版本的,所以按照教程安装的时候,装的也是老版本的scrapy,不能用一些FilePipleline的东西,非常不方便. 他们装的时候是用apt-get安装的,升级的时候可以用apt-get remove,然后再按照英文文档里的方法安装就好了. 但是另一个同学不知道怎么安装的,scrapy直接就报错.报错信息ibutionNotFound:原创 2015-11-18 13:31:00 · 8851 阅读 · 0 评论 -
scrapy设置代理proxy
http://stackoverflow.com/questions/4710483/scrapy-and-proxies 增加文件middlewares.py放置在setting.py平行的目录下 import base64 class ProxyMiddleware(object): # overwrite process request def process_request原创 2016-03-24 16:50:11 · 15263 阅读 · 2 评论