- 博客(3)
- 收藏
- 关注
RSS订阅原创 Scrapy 只有在重试的时候使用代理
判断当前retry_times不为空def process_request(self, request, spider): if request.meta.get('retry_times'): proxy = self.get_random_proxy()
2020-01-14 23:51:05
454
转载 scrapy---twisted异步IO框架(实现数据的异步写入)
1.引导数据库pymysql的commit()和execute()在提交数据时，都是同步提交至数据库，由于scrapy框架数据的解析和异步是多线程的，所以scrapy的数据解析速度，要远高于数据写入数据库的速度。如果数据写入过慢，会造成数据库写入的阻塞，影响数据库写入的效率。通过多线程异步的形式对数据进行写入...
2020-01-14 16:20:37
463
原创 关于Scrapy请求报错捕获异常的解决方法
Scrapy请求报错捕获异常解决对于设置了代理的爬取，可能会出现TimeoutError, TCPTimedOutError, ConnectionRefusedError, ResponseNeverReceived, TunnelError等错误。对此我的解决方式是在下载中间件中设置捕获异常来解决。打开Middleware文件，找到下载中间件，在process_exception中自定义...
2020-01-06 10:50:33
3089
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人