简单爬虫函数的封装（Python）

最新推荐文章于 2023-07-24 11:06:29 发布

LIJZ_Python

最新推荐文章于 2023-07-24 11:06:29 发布

阅读量1.1k

点赞数

分类专栏：爬虫 Python 文章标签：爬虫

本文链接：https://blog.csdn.net/yinhangxitong36/article/details/79608082

版权

这是一个Python爬虫函数的实现，用于下载网页内容并处理HTTP错误。函数`downloadPage2`接收URL参数，设定User-Agent，处理500-600的HTTP错误，并限制错误重试次数。如果发生HTTP错误，会等待随机时间后重新尝试。在主函数中，展示了如何调用该爬虫函数，并连接到Redis数据库。

摘要由CSDN通过智能技术生成

def downloadPage2(url, req_num=10, charset='utf-8', user_agent=None):
    """
    下载网页信息,user-Agent的设置
    处理了500-600的错误
    限制了错误处理的上限次数
    网页的编码设置
    :param url: 请求的url连接
    :return: 返回值
    """
    if not user_agent:
        user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)\
            AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36'
    headers = {'User-Agent': user_agent}
    req = request.Request(url, headers=headers)
    try:
        response = request.urlopen(req)
        with open('test.html', 'wb') as f:
            f.write(response.read())
    except error.HTTPError as e:
        # 服务器错误
        print(e.code)
        html = None
        if req_num > 0:
            if hasattr(e, 'code') and 500 <= e.code <=