Python爬虫学习笔记(实例:解决网站对爬虫的审查)

由于一些网站会识别并阻止爬虫程序爬取网页的信息,所以需要修改请求报文的头部信息,模拟浏览器访问 

实例:爬取亚马逊中国的商品页面信息:

https://www.amazon.cn/dp/B0785D5L1H/ref=sr_1_1?__mk_zh_CN=%E4%BA%9A%E9%A9%AC%E9%80%8A%E7%BD%91%E7%AB%99&keywords=%E6%9E%81%E7%AE%80&qid=1579164551&sr=8-1
import requests
url = 'https://www.amazon.cn/dp/B0785D5L1H/ref=sr_1_1?__mk_zh_CN=%E4%BA%9A%E9%A9%AC%E9%80%8A%E7%BD%91%E7%AB%99&keywords=%E6%9E%81%E7%AE%80&qid=1579164551&sr=8-1'
try:
    kv = {'user-agent':'Mozilla/5.0'} #关键:模拟浏览器,解决网站审查禁止爬虫的问题(503,403。。)
    r=requests.get(url, headers = kv) #关键:加入头部信息
    r.raise_for_status() #检查状态
    r.encoding = r.apparent_encoding #设置编码
    print(r.text) #打印网页源码信息
except:
    print("爬取失败")
发布了23 篇原创文章 · 获赞 12 · 访问量 1万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 编程工作室 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览