爬取的代码

爬取网页的通用代码框架：

import requests
def getHTMLText(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()#如果状态不是200，引发HTTPError异常
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return"产生异常"
if __name__=="__main__":
    url="http://www.baidu.com"
    print(getHTMLText(url))
            

例1、爬取京东某商品页面的信息。

import requests
>>> r=requests.get("https://item.jd.com/21872445778.html")
>>> r.status_code
200
>>> r.encoding
'gbk'
>>> r.text[:1000]

结果：

很多网站对网络爬虫有限制，无非两种限制方法。一：通过