Python爬虫学习笔记(实例：解决网站对爬虫的审查)

由于一些网站会识别并阻止爬虫程序爬取网页的信息，所以需要修改请求报文的头部信息，模拟浏览器访问 

实例：爬取亚马逊中国的商品页面信息：

https://www.amazon.cn/dp/B0785D5L1H/ref=sr_1_1?__mk_zh_CN=%E4%BA%9A%E9%A9%AC%E9%80%8A%E7%BD%91%E7%AB%99&keywords=%E6%9E%81%E7%AE%80&qid=1579164551&sr=8-1

import requests

url = 'https://www.amazon.cn/dp/B0785D5L1H/ref=sr_1_1?__mk_zh_CN=%E4%BA%9A%E9%A9%AC%E9%80%8A%E7%BD%91%E7%AB%99&keywords=%E6%9E%81%E7%AE%80&qid=1579164551&sr=8-1'
try:
    kv = {'user-agent':'Mozilla/5.0'} #关键：模拟浏览器，解决网站审查禁止爬虫的问题（503,403。。）
    r=requests.get(url, headers = kv) #关键：加入头部信息
    r.raise_for_status() #检查状态
    r.encoding = r.apparent_encoding #设置编码
    print(r.text) #打印网页源码信息
except:
    print("爬取失败")