爬虫之请求执行保障和容错方法（timeout-超时、try...except...异常捕获、retrying-容错次数，函数调用及传参问题）

最新推荐文章于 2022-02-15 15:59:08 发布

行走的学习机

最新推荐文章于 2022-02-15 15:59:08 发布

阅读量698

点赞数

分类专栏：爬虫技巧文章标签： python post javascript html5 数据库

本文链接：https://blog.csdn.net/weixin_45950544/article/details/103591926

版权

本文介绍了如何封装一个完善的requests方法，包括处理超时timeout、异常捕获try...except...以及重试机制retrying。同时，讨论了Python函数调用中的参数问题，如在类中使用self调用函数以及默认参数的使用。

摘要由CSDN通过智能技术生成

一个较为完善的requests方法封装

import requests
from retrying import retry

headers = {
   "User-Agent","Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50"}

# 容错方法1：调用retry装饰器，设置容错次数为3次
@retry(stop_max_attempt_number=3)
def _parse_url