天蛛爬虫学习笔记——Requests爬虫实例

天蛛爬虫学习笔记——Requests爬虫实例

定义一个爬虫的通用框架

import requests
def getHTMLtext(url):
    """
    爬虫通用框架,
    """
    try:    #捕捉到错误后会执行except的语句
        r=requests.get(url)
        r.raise_for_status()# 返回值若为200，则表示正常访问网站，继续执行，否则会返回HTTPError错误
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return  '产生异常'

调用上述的爬虫框架

getHTMLtext("https://item.jd.com/")

爬取京东商品详情页

#Mozilla/5.0是一个标准的浏览器身份标识字段，可以将爬虫程序伪装成某个浏览器
kv={"User-agent":"Mozilla/5.0"}
r = requests.get("https://item.jd.com/100012015134.html#crumb-wrap",headers=kv) #将header中的user-agent修改为Mozilla/5.0
r.encoding=r.apparent_encoding
r.text

爬取亚马逊商品详情页

#Mozilla/5.0是一个标准的浏览器身份标识字段，可以将爬虫程序伪装成某个浏览器
kv={"User-agent":"Mozilla/5.0"}
r = requests.get("https://www.amazon.cn/dp/B07HC45JT2/ref=lp_665002051_1_1?s=wireless&ie=UTF8&qid=1587479047&sr=1-1",headers=kv)
r.status_code 
r.encoding=r.apparent_encoding
r.text