Spider学习笔记（十三）：爬取京东商品详情页数据，写入execl表中

最新推荐文章于 2024-08-06 09:35:52 发布

小火skr车

最新推荐文章于 2024-08-06 09:35:52 发布

阅读量1.3k

点赞数

分类专栏： Spider pandas 文章标签： python Spider

本文链接：https://blog.csdn.net/xiaohuoche175/article/details/103612061

版权

本文记录了使用Python爬虫技术抓取京东商品详情页的数据，并将这些数据保存到Excel表格的过程。通过运行text.py脚本，可以实现对指定页面的爬取和数据整理。

摘要由CSDN通过智能技术生成

import json
import re
import pandas as pd
import requests


def test(addr):
    # 京东商品原文链接
    url_ = "%s#crumb-wrap" % addr
    # 请求头设置参数
    header_ = {
        "USER-AGENT": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.67 Safari/537.36"
    }
    resp = requests.get(url=url_, headers=header_)
    # 请求回来的文本内容（格式：字符串）
    text = resp.text
    # print(text)
    # 从文本中查找参数开始拼接新的请求
    sku_id = re.findall("skuid: (\\d+),", text)
    cat = re.findall("cat: \\[(.*?)\\],", text)
    vender_id = re.findall("venderId:(\\d+),", text)
    # 如果三个参数有且都存在的情况下
    if sku_id and cat and vender_id:
        # 拼接新的路由（该链接是从网页中的请求中查找获取）
        url_01 = "https://c0.3.cn/stock?skuId={}&cat={}&venderId={}&area=19_1601_3637_0".format(