基于Python通过cookie对某芯片网站信息的获取

VIP文章 CorGi_8456

已于 2022-04-06 16:30:35 修改

阅读量1.7k

点赞数 2

分类专栏： Python爬取分享电商攻略文章标签： python

于 2022-01-25 15:54:09 首次发布

本文链接：https://blog.csdn.net/corgi_8456/article/details/122679368

版权

本文中的那个名字皆用T网站来代替，本文的所有关键字已经全部替换，请审核高抬贵手。

芯片大家都不陌生。在当今疫情下，显卡，车机的芯片产量锐减影响了不少人的购物需求（反正你也买不到），也让不少人重新认识了半导体行业。闲来无事，我们可以获取一下T网站的芯片库存和芯片信息。

链接：https://www.xx.com.cn/zh-cn/die-wafer-services/products.html

一、列表页请求分析

进入页面，就能看到我们需求的信息了。

但是，在页面请求完成之前，有一点点不对劲，就是页面的各个部份请求的速度是不一样的：

所以啊，需要的数据，大概率不是简单的get请求，所以要进一步去看，特意在开发者模式—Fetch/XHR选项卡中有一个请求，返回值正好是我们需要的内容：

这一条链接返回了所有的数据，无需翻页，下面开始请求链接。

二、列表页请求

根据上面的链接，直接get请求，分析json即可，上代码：

def getItemList():
    url = "https://www.xx.com.cn/selectiontool/paramdata/family/3658/results?lang=cn&output=json"
    headers = {
        'authority': 'www.xx.com.cn',
        "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36",
    }
    res = getRes(url,headers,'','','GET')//自己写的请求方法
    nodes = res.json()['ParametricResults']
    for node in nodes:
        data = {}
        data["itemName"] = node["o3"] #名称
        data["inventory"] = node["p3318"] #库存
        data["price"] = node["p1130"]['multipair1']['l'] #价格
        data["infoUrl"] = f"https://www.xx.com.cn/product/cn/{node['o1']}"#详情URL

分析上面的json，可知 o3 是商品名，p3318是库存，p1130里面的内容有一个带单位的价格，o1是型号，可凑出详情链接，下面是请求结果：

三、详情页分析

终于拿到详情页链接了，该获取剩下的内容了。

打开开发者模式，没有额外的请求，只有一个包含内容的get请求。

那直接请求不就得了，上代码：

def getItemInfo(url):
    logger.info(f'正在请求详情url-{url}')
    headers = {
        'authority': 'www.xx.com.cn',
        'accept': "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
        'user-agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36",
        'referer':'https://www.xx.com.cn/product/cn/THS4541-DIE',

    }
    res = getRes(url, headers,'', '', 'GET')//自己写的请求方法
    content = res.content.decode('utf-8')

但是发现，请求的详情页，跟开发者模式的预览怎么不太一样？