Python网络爬虫与信息提取(4)—— 实战之爬取亚马逊商品信息

前言

上一节爬取了IP地址,这一节爬取亚马逊的单个商品信息,对爬取代码进行一点点优化。

完整代码

import requests as req
url = "https://www.amazon.cn/gp/product/B01M8L5Z3Y"
try:
    kv = {'user-agent': 'Mozilla/5.0'}
    r = req.get(url,headers = kv)
    r.raise_for_status()
    print(r.text[1000:2000])
except:
    print("爬取失败")
  • 首先导入requests库
  • 复制网页商品的url过来
  • 用try except捕获爬取失败的异常
  • kv模拟浏览器访问
  • 获取浏览器的响应
  • r.raise_for_status()触发异常,如果返回的代码不是200就会触发异常
  • 没有异常则打印文本内容
  • 异常了则提示爬取失败
已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 黑客帝国 设计师:白松林 返回首页