python网页爬虫通用代码示例

新手学习python爬虫在繁多的代码面前往往显得力不从心，那么有什么python通用爬虫模板可以借用，让自己省时省力？下面就是有关python爬虫的通用模板示例，希望对大家有帮助。

import requests
#import time

def getHTMLText(url):
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()#如果状态不是200，产生HTTPError异常
        #print(r.status_code)
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"

if __name__ == '__main__':
    url = "http://www.baidu.com"
    print(getHTMLText(url))

这么几行代码大家应该看懂了吧，可以一起实操实践实践。