一、网络爬虫之入门(3)

最新推荐文章于 2021-07-21 19:57:24 发布

HolllllldOn

最新推荐文章于 2021-07-21 19:57:24 发布

阅读量192

点赞数

分类专栏：爬虫笔记（MOOC Python网络爬虫与信息提取）文章标签： python

本文链接：https://blog.csdn.net/HolllllldOn/article/details/107352900

版权

本文介绍了四个Python网络爬虫案例，包括京东、亚马逊商品页面的爬取，百度、360搜索关键词的提交，以及网络图片的抓取和存储。在京东商品页面爬取中，可能需要参考亚马逊的代码，因为后者需要设置request header以模拟浏览器访问。对于图片爬取，提供了实例链接，并指出可以使用IDE如PyCharm进行操作。

摘要由CSDN通过智能技术生成

Requests库网络爬虫实战

案例1：京东商品页面的爬取

某商品链接：https://item.jd.com/100004770263.html
在这里插入图片描述

#爬取京东商品页面
import requests
url = 'https://item.jd.com/100004770263.html'
try:
    r = requests.get(url)
    r.raise_for_status()
    r.encoding =r.apparent_encoding
    print(r.text[:1000])
except:
    print('爬取失败')