超详细解析python爬虫爬取京东图片

本文详细介绍了如何使用Python爬虫爬取京东商城手机图片。首先创建文件夹存储图片,然后通过观察网页源码,使用正则表达式匹配并过滤出图片链接。接着,自定义函数遍历每一页,通过urllib下载图片,并处理异常。最后,文章分享了实际操作中遇到的问题和解决方案。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

爬取过程中首先你需要观察在手机页面变化的过程来使用正则表达式匹配源码中图片的链接然后在保存到本地
其次就是信息过滤,出除了你需要的手机图片以外的其他信息过滤掉:可通过查看网页代码找到图片的起始以及结束的代码

爬取过程:
1)建立一个爬取图片的自定义函数,该函数负责爬取一个页面下我们想要爬取的图片,爬取过程为:首先通过urli request uloen(ur),reado读取对应网页的全部源代码,然后根据上面的第一个正则表达式进行第一次信息过滤, 过滤完成之后, 在第一次过滤结果的基础上,根据上面的第二个正则表达式进行第二次信息过滤,提取出该网页上所有目标图片的链接,并将这些链接地址存储的- 个列表中,随后遍历该列表,分别将对应链接通过urlib.request.urlretrieve ( imageurl, filename imagename)存储到本地,为了避免程序中途异常崩溃,我们可以建立异常处理,若不能爬取某个图片,则会通过x+=1自动跳到下一个图片。

2)通过for循环将该分类下的所有网页都爬取一遍,链接可以构造为utI=t:/ist.jd.com/list.html?cat-9987.653,655&page "+str(i),在for循环里面, 每一次循环,对应的i会自动加1,每次循环的时候通过调用1 )中的函数实现该页图片的爬取。

实例讲解(京东商城手机图片爬取)

1.创建一个文件夹来存放你爬取的图片

目标网页:https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&suggest=1.def.0.V07–12s0%2C38s0%2C97s0&wq=shouji&page=“1”&s=90&click=0

首先根据网址特征我们会发现"page="这个参数能够改变网页的页数
那我们接下来试着打印出京东手机前二十页的手机网址信息
(点开每个网址你会发现page对应的数字也就是手机网页对应的页数)

for i in range(1,20):
    url = "https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&suggest=1.def.0.V07--12s0%2C38s0%2C97s0&wq=shouji&page="+str(i)+"&s=90&click=0"
    print(url)

在这里插入图片描述

2.第一部分代码分析

#导入需要的库
import re
import urllib.request
#将网址赋给url
url = "https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&suggest=1.def.0.V07--12s0%2C38s0%2C97s0&wq=shouji&page=1&s=90&click=0"
req=urllib.request.Request(url)
#修改报头将自己伪装为一个浏览器去访问
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36')
#得到此网页的代码
data=urllib.request.urlopen(req).read()
data=str(data)
#来打印一下data看看我们获取的代码
print(data)

在这里插入图片描述

同时我们将此网页打开 按F12
我们将抓取的网页代码和真实网页代码进行对比发现:
除了一些编码的问题其余内容基本一致
说明第一步我们成功了!!!

3.第二部分代

### 如何使用Python编写爬虫程序爬取京东商品评价数据 为了实现这一目标,可以按照以下方法构建一个简单的爬虫程序。以下是详细的说明: #### 1. 开发工具与依赖库 在开发过程中需要用到一些常用的Python库[^2]: - **`requests`**: 发送HTTP请求以获取网页内容。 - **`json`**: 解析JSON格式的数据。 - **`pandas`**: 将数据保存至CSV文件以便后续处理。 安装这些库可以通过pip命令完成: ```bash pip install requests pandas ``` #### 2. 获取API接口和JSON数据结构 京东的商品评论通常通过其内部API提供。需要分析该API返回的JSON数据结构,找到评论的相关字段。例如,在某些情况下,评论可能位于键名为`comments`的列表中[^4]。 #### 3. 编写爬虫代码 下面是一个示例代码片段,展示如何从指定URL中提取评论数据并将其保存到本地文件中: ```python import requests import json import pandas as pd def fetch_comments(product_id, page=0): url = f"https://club.jd.com/comment/productPageComments.action?productId={product_id}&score=0&sortType=5&page={page}&pageSize=10" headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(url, headers=headers) if response.status_code != 200: raise Exception(f"Failed to retrieve comments: {response.status_code}") data = response.json() return data['comments'] def save_to_csv(comments, filename="jd_reviews.csv"): df = pd.DataFrame(comments) df.to_csv(filename, index=False) if __name__ == "__main__": product_id = "example_product_id" # 替换为目标产品的ID all_comments = [] for i in range(10): # 假设只抓取前10页 try: comments = fetch_comments(product_id, page=i) all_comments.extend([{ 'content': c['content'], 'time': c['creationTime'] } for c in comments]) except KeyError: break save_to_csv(all_comments) ``` 上述脚本实现了如下功能: - 定义了一个函数 `fetch_comments` 来调用特定的产品评论API,并传入产品ID以及分页参数。 - 使用Pandas将收集到的所有评论保存成CSV文件[^1]。 #### 4. 数据清洗与初步分析 一旦成功下载了原始数据,则可进一步执行清理工作,比如去除重复项或者过滤掉无意义的内容。之后还可以利用Matplotlib或Seaborn绘制图表来进行情感倾向评估等操作[^3]。 --- 相关问题
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值