Spider学习笔记（十三）：爬取京东商品详情页数据，写入execl表中

import json
import re
import pandas as pd
import requests


def test(addr):
    # 京东商品原文链接
    url_ = "%s#crumb-wrap" % addr
    # 请求头设置参数
    header_ = {
        "USER-AGENT": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.67 Safari/537.36"
    }
    resp = requests.get(url=url_, headers=header_)
    # 请求回来的文本内容（格式：字符串）
    text = resp.text
    # print(text)
    # 从文本中查找参数开始拼接新的请求
    sku_id = re.findall("skuid: (\\d+),", text)
    cat = re.findall("cat: \\[(.*?)\\],", text)
    vender_id = re.findall("venderId:(\\d+),", text)
    # 如果三个参数有且都存在的情况下
    if sku_id and cat and vender_id:
        # 拼接新的路由（该链接是从网页中的请求中查找获取）
        url_01 = "https://c0.3.cn/stock?skuId={}&cat={}&venderId={}&area=19_1601_3637_0".format(