- 博客(3)
- 收藏
- 关注
RSS订阅
原创 基于Tornado和Scrapy的开源高性能代理池
图片瞎放一个先（doge前段时间在写爬虫，研究了一下Github排名靠前的免费代理池，都不太喜欢，就自己写了一个，结合了异步框架Tornado和Scrapy，目前支持的特性有：设定数目，持续从网上爬取新的免费代理，检测可用后存入本地数据库完全异步，支持高并发（从免费的前提下去衡量……）通过调用HTTP API来获取代理，后面有时间会增加前端控制页面周期性自检，更新可用代理...
2018-06-16 19:04:32
331
原创 twisted中Deferred对象callback返回值为Deferred对象时
在《Learning Scrapy》第225页看到这两段：>>> # Experiment 3>>> def status(*ds):... return [(getattr(d, 'result', "N/A"), len(d.callbacks)) for d inds]>>> def b_callback(arg):... print "b_callback called with
2017-07-30 23:18:05
602
原创 scrapy自定义RetryMiddleware
爬虫repo地址：https://github.com/Karmenzind/EasyGoSpider此处需求为：返回json中带有{"code": 0}时，将此请求加入重试队列假如json中含有cookie被禁信息，对cookie列表进行修正源码注释中有一句： Failed pages are collected on the scraping process and reschedul
2017-07-22 18:12:53
6685
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人