- 博客(3)
- 收藏
- 关注
RSS订阅原创 scrapy TCP connection time out 10086. 代理ip失效 请求超时 如何处理
在理的代理ip的中间件中 写一个方法 process_exception 当请求报错时 中间件会调用 process_exception 方法 你可以在这个方法里写你的自定义的处理方法 我这个方法是重新请求一次 class ProxyMiddleWare(object): def process_request(self, request, spider): proxy_...
2019-02-19 11:39:52
2062
原创 如何让 scrapy 不忽略 403的响应
在设置中加入 HTTPERROR_ALLOWED_CODES = [403] 这样 可以使403状态的响应不被自动忽略，可以自响应中对403 的响应做个性化处理
2019-02-19 11:02:26
725
转载 linux 环境下批量杀死进程
ps -ef | grep module- | grep -v module-mxm | cut -c 9-15 | xargs kill -9 ps -ef | grep module- 查找关键字包含module-的所有进程 grep -v module-mxm 排除module-mxm的进程 cut -c 9-15 截取第9至15字符（进程id） x...
2018-07-27 16:43:45
165
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人