python 爬取网页的通用代码框架

爬取网页的通用代码框架就是一组代码

它可以准确的 可靠的爬取网页上的内容。

但是这样的语句不是一定成立的，因为网络连接有风险。

常见的异常有：

而raise_for_status方法可以返回所引发的httperror异常。

爬取网页的框架代码如下：

import requests
def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()  #如果状态不是200 引发http error异常
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"


if __name__ == "__main__":
    url = "http://www.baidu.com"
    print(getHTMLText(url))