网络爬虫的五个实例

最新推荐文章于 2024-08-13 18:54:10 发布

图图的小肉丸

最新推荐文章于 2024-08-13 18:54:10 发布

阅读量9.9k

点赞数 5

文章标签： python

本文链接：https://blog.csdn.net/weixin_44754412/article/details/104251024

版权

本文介绍了如何在PyCharm中安装requests库，并提供了五个网络爬虫实例，包括京东、亚马逊商品信息爬取，百度360搜索关键词，下载图片以及IP地址归属地查询。针对亚马逊爬取时可能遇到的反爬策略也进行了说明。

摘要由CSDN通过智能技术生成

requests库的安装

在终端输入 pip inatsll requets 即可安装成功
若出现版本更新问题，输入python -m pip install --upgrade pip即可，若还是报错就输入python -m pip install -U pip

在pycharm安装requests库

点击File–>Settings–>Project Interpreter,然后点击绿色加号

然后搜索requests，找到后点击Install Package即可
在这里插入图片描述

网络爬虫实例

1.京东商品爬取

import requests
url = "https://item.jd.com/100007934914.html"
try:
    r = requests.get(url)
    r.raise_for_status()
    r.encoding = r.apparent_encoding#apparent_encoding该属性是从url的内容分析出编码方式
    print(r.text[:1000])
except:
    print("Error")

2.亚马逊商品爬取

import requests
url = "https://www.amazon.cn/dp/B0798J3G37/ref=s9_acsd_hps_bw_c2_x_0_i?pf_rd_m=A1U5RCOVU0NYF2&pf_rd_s=merchandised-search-2&pf_rd_r=9X1Y8MVKZSE7T4TB76N5&pf_rd_t=101&pf_rd_p=3f149c06-7221-4924-a124-ebbe0310b38c&pf_r