python爬取唯品会商品信息

最新推荐文章于 2024-04-08 06:52:32 发布
最新推荐文章于 2024-04-08 06:52:32 发布
阅读量993 收藏 13
点赞数 5
文章标签： python 网络爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73558362/article/details/131742673
版权

目录

1.明确需求和抓包思路

2.发送请求，获取数据

3.解析数据

4.保存数据

5.最终效果

1.明确需求和抓包思路

目标： 爬取唯品会中泳衣的商品信息

思路：点击F12打开抓包工具 --> 刷新页面 --> 搜索关键字找到我们想要的数据包，并分析

2.发送请求，获取数据

请求链接：获得商品ID数据

当url为长连接时，我们可以分段写：

​问号前面 -> 请求链接 ​  

问号后面 -> 请求参数、查询参数(在开发者工具network-payload查找)

import requests
# 构造伪请求头
headers = {
     "Referer": "https://category.vip.com/",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"
}

# 请求链接
url = 'https://mapi.vip.com/vips-mobile/rest/shopping/pc/product/module/list/v2?'
# 请求参数
data = {
    "app_name": "shop_pc",
    "app_version":"4.0",
    "warehouse": "VIP_HZ",
    'fdc_area_id': "104103105",
    "client": "pc",
    'mobile_platform': "1",
    "province_id": "104103",
    "api_key": "70f71280d5d547b2a7bb370a529aeea1",
    "user_id": "",
    "mars_cid": "1689329487922_7feadb1a833bb7d1380e40f6e7572fff",
    "wap_consumer": "a",
    "productIds": "6920269641265660623,6919269290708597831,6918915874224063836,6919798151514506573,2736390477346888,2891474976578247,6919798151514518861,6919675341290738836,6919259179854452052,6920250903815424655,2766703467616269,2169994865,6920279689597107167,6919960987713959836,6920382449658235796,2876504189630669,2910440252357662,2736390477355080,2895685386241758,2765190986319752,6920447656244110279,2804371112156959,6920442282866906503,6919827210032574940,6920194289836579348,6918576590623773716,6919768033477487444,6919938807569897364,2765190986295176,6919827210015789532,2876504189626573,6919764953763153552,6919165075042048660,6920431008557578196,6920342169219109916,6919930400923369948,2902922323390983,6920121891363422797,6919798151531308365,6920416110144640532,6920315893087596252,6920147527227647124,2884110521883335,6920434934424803860,6919772356565115220,6920071029232646484,6919945966029039508,6919675341324334228,6920230370920125213,2924666982808199",
    "scene": "search",
    "standby_id": "nature",
    "context": "",
    "_": "1689389675519",
}
# 发送HTTP请求
requeston = requests.get(url=url, params=data, headers=headers)
# 获得响应的数据
print(requeston.json())

3.解析数据

requeston.json()表示将返回的响应数据解析为JSON格式，

requeston.json()['data']['products']表示从JSON数据中获取名为"data"的键对应的值，然后再获取该值中的名为"products"的键对应的值。

接下来通过列表推导式[i['productId'] for i in ...]遍历上述取得的"products"值中的每个元素，将每个元素中的"productId"键对应的值提取出来，并存储在新的products列表中。

# 获得商品Id
# 方法1：for循环
# products = []
# for i in requests.json()['data']['products']:
#     # print(i['productId'])
#     products.append(i['productId'])
# 方法2：列表推导式
products = [i['productId'] for i in requeston.json()['data']['products']]
print(len(products))

将商品id进行分组。在进行大规模数据获取时，可能会遇到网络异常、请求超时等问题。如果一次性请求所有数据，可能会对错误处理和重试造成困难。而将商品ID分组后，可以针对每个分组进行错误处理和重试，提高数据获取的可靠性。

# 商品ID分组 --> 切片
# 列表合并成字符串
product_id_1 = ",".join(products[:50])
product_id_2 = ",".join(products[50:100])
product_id_3 = ",".join(products[100:])
product_id_list = [product_id_1, product_id_2, product_id_3]

通过for循环获得每个商品的详细信息

for product_id in product_id_list:
    # 请求链接
    link = 'https://mapi.vip.com/vips-mobile/rest/shopping/pc/product/module/list/v2?app_name=shop_pc&app_version=4.0&warehouse=VIP_HZ&fdc_area_id=104103105&client=pc&mobile_platform=1&province_id=104103&api_key=70f71280d5d547b2a7bb370a529aeea1&user_id=&mars_cid=1689329487922_7feadb1a833bb7d1380e40f6e7572fff&wap_consumer=a&productIds=6919798151514506573%2C6920269641265660623%2C6919798151514518861%2C6919269290708597831%2C6918915874224063836%2C2736390477346888%2C2891474976578247%2C2876504189630669%2C6919675341290738836%2C6919960987713959836%2C2169994865%2C2766703467616269%2C6920382449658235796%2C2910440252357662%2C2902922323390983%2C2765190986319752%2C6919827210032574940%2C6919259179854452052%2C2876504189634765%2C6920250903815424655%2C2804371112156959%2C2736390477355080%2C6920342169219109916%2C6920279689597107167%2C2895685386241758%2C6920447656244110279%2C6920194289836579348%2C6920442282866906503%2C6919827210015789532%2C6919768033477487444%2C2765190986295176%2C6919165075042048660%2C6919764953763153552%2C6920315893087596252%2C6920416110144640532%2C6918576590623773716%2C6919938807569897364%2C6919930400923369948%2C6920366918282336732%2C2882749161196231%2C2891329926023245%2C6918163184803156827%2C6919221354186146452%2C2924666982808199%2C6920147527227647124%2C6920121891363422797%2C6920431008557578196%2C6919798151531308365%2C6919945966029039508%2C2917169264452045%2C&scene=search&standby_id=nature&extParams=%7B%22stdSizeVids%22%3A%22%22%2C%22preheatTipsVer%22%3A%223%22%2C%22couponVer%22%3A%22v2%22%2C%22exclusivePrice%22%3A%221%22%2C%22iconSpec%22%3A%222x%22%2C%22ic2label%22%3A1%2C%22superHot%22%3A1%2C%22bigBrand%22%3A%221%22%7D&context=&_=1689412122582'
    # 发送请求
    json_data = requests.get(url=link, headers=headers)
    a = json_data.json()

4.保存数据

导入csv模块，将数据写入csv文件中。

import csv
   
fieldnames = ['标题', '品牌', '原价', '售价', '折扣', '商品信息', '详情页链接']
    with open('data.csv', 'a', newline='', encoding='utf-8-sig') as file:
        writer = csv.DictWriter(file, fieldnames=fieldnames)
        writer.writeheader()  # 写入表头
        for index in a['data']['products']:
            attr = ','.join([j['value'] for j in index['attrs']])
            row = {
                '标题': index['title'],
                '品牌': index['brandShowName'],
                '原价': index['price']['marketPrice'],
                '售价': index['price']['salePrice'],
                '折扣': index['price']['mixPriceLabel'],
                '商品信息': attr,
                '详情页链接': f'https://detail.vip.com/detail-{index["brandId"]}-{index["productId"]}.html'
            }
            writer.writerow(row)

5.最终效果

import requests
import csv
# 模拟浏览器请求
headers = {
    # 防盗链 告诉服务器请求链接地址从哪里跳转过来
     "Referer": "https://category.vip.com/",
    # 用户代理 浏览器基本身份信息
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36"
}

# 请求链接
url = 'https://mapi.vip.com/vips-mobile/rest/shopping/pc/product/module/list/v2?'
# 请求参数
data = {
    #"callback": "getMerchandiseDroplets1",  # 回调函数 获取requests.json()错误，将其省略
    "app_name": "shop_pc",
    "app_version":"4.0",
    "warehouse": "VIP_HZ",
    'fdc_area_id': "104103105",
    "client": "pc",
    'mobile_platform': "1",
    "province_id": "104103",
    "api_key": "70f71280d5d547b2a7bb370a529aeea1",
    "user_id": "",
    "mars_cid": "1689329487922_7feadb1a833bb7d1380e40f6e7572fff",
    "wap_consumer": "a",
    "productIds": "6920269641265660623,6919269290708597831,6918915874224063836,6919798151514506573,2736390477346888,2891474976578247,6919798151514518861,6919675341290738836,6919259179854452052,6920250903815424655,2766703467616269,2169994865,6920279689597107167,6919960987713959836,6920382449658235796,2876504189630669,2910440252357662,2736390477355080,2895685386241758,2765190986319752,6920447656244110279,2804371112156959,6920442282866906503,6919827210032574940,6920194289836579348,6918576590623773716,6919768033477487444,6919938807569897364,2765190986295176,6919827210015789532,2876504189626573,6919764953763153552,6919165075042048660,6920431008557578196,6920342169219109916,6919930400923369948,2902922323390983,6920121891363422797,6919798151531308365,6920416110144640532,6920315893087596252,6920147527227647124,2884110521883335,6920434934424803860,6919772356565115220,6920071029232646484,6919945966029039508,6919675341324334228,6920230370920125213,2924666982808199",
    "scene": "search",
    "standby_id": "nature",
    "context": "",
    "_": "1689389675519",
}

# 发送请求
requeston = requests.get(url=url, params=data, headers=headers)
# 获得商品Id
products = [i['productId'] for i in requeston.json()['data']['products']]
print(len(products))

# 商品ID分组 --> 切片
# 列表合并成字符串
product_id_1 = ",".join(products[:50])
product_id_2 = ",".join(products[50:100])
product_id_3 = ",".join(products[100:])
product_id_list = [product_id_1, product_id_2, product_id_3]

for product_id in product_id_list:
    # 请求链接
    link = 'https://mapi.vip.com/vips-mobile/rest/shopping/pc/product/module/list/v2?app_name=shop_pc&app_version=4.0&warehouse=VIP_HZ&fdc_area_id=104103105&client=pc&mobile_platform=1&province_id=104103&api_key=70f71280d5d547b2a7bb370a529aeea1&user_id=&mars_cid=1689329487922_7feadb1a833bb7d1380e40f6e7572fff&wap_consumer=a&productIds=6919798151514506573%2C6920269641265660623%2C6919798151514518861%2C6919269290708597831%2C6918915874224063836%2C2736390477346888%2C2891474976578247%2C2876504189630669%2C6919675341290738836%2C6919960987713959836%2C2169994865%2C2766703467616269%2C6920382449658235796%2C2910440252357662%2C2902922323390983%2C2765190986319752%2C6919827210032574940%2C6919259179854452052%2C2876504189634765%2C6920250903815424655%2C2804371112156959%2C2736390477355080%2C6920342169219109916%2C6920279689597107167%2C2895685386241758%2C6920447656244110279%2C6920194289836579348%2C6920442282866906503%2C6919827210015789532%2C6919768033477487444%2C2765190986295176%2C6919165075042048660%2C6919764953763153552%2C6920315893087596252%2C6920416110144640532%2C6918576590623773716%2C6919938807569897364%2C6919930400923369948%2C6920366918282336732%2C2882749161196231%2C2891329926023245%2C6918163184803156827%2C6919221354186146452%2C2924666982808199%2C6920147527227647124%2C6920121891363422797%2C6920431008557578196%2C6919798151531308365%2C6919945966029039508%2C2917169264452045%2C&scene=search&standby_id=nature&extParams=%7B%22stdSizeVids%22%3A%22%22%2C%22preheatTipsVer%22%3A%223%22%2C%22couponVer%22%3A%22v2%22%2C%22exclusivePrice%22%3A%221%22%2C%22iconSpec%22%3A%222x%22%2C%22ic2label%22%3A1%2C%22superHot%22%3A1%2C%22bigBrand%22%3A%221%22%7D&context=&_=1689412122582'
    # 发送请求
    json_data = requests.get(url=link, headers=headers)
    a = json_data.json()
    print(len(a))
    fieldnames = ['标题', '品牌', '原价', '售价', '折扣', '商品信息', '详情页链接']
    with open('data.csv', 'a', newline='', encoding='utf-8-sig') as file:
        writer = csv.DictWriter(file, fieldnames=fieldnames)
        writer.writeheader()  # 写入表头
        for index in a['data']['products']:
            attr = ','.join([j['value'] for j in index['attrs']])
            row = {
                '标题': index['title'],
                '品牌': index['brandShowName'],
                '原价': index['price']['marketPrice'],
                '售价': index['price']['salePrice'],
                '折扣': index['price']['mixPriceLabel'],
                '商品信息': attr,
                '详情页链接': f'https://detail.vip.com/detail-{index["brandId"]}-{index["productId"]}.html'
            }
            writer.writerow(row)

 

科职第一深情
关注
Python爬虫分析唯品会商品数据 +数据可视化
想学习python欢迎在评论区留言，我看到都会用心回复
07-26 447
大家好 我是小曼呐！唯品会是中国领先的在线特卖会电商平台之一，它以“品牌特卖会”的模式运营，为会员提供品牌折扣商品。唯品会的商品包括服装、鞋类、箱包、美妆、家居、母婴、食品等各类品牌产品。这就是今天的受害者，我们要拿取上面的泳衣数据，然后可以做些数据可视化。
Python爬取唯品会商品数据，钱包准备好了嘛!
pythonlaodi的博客
11-05 718
前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资料以及群交流解答点击即可加入 开发工具 python 3.6.5 pycharm import requests import re import csv 123 目标网页分析 马山就要双十一了，有女朋友的朋友准备好了吗~ 之前关于京东、淘宝的商品数据都是爬取了，今天爬取一下唯品
【python爬虫】爬取唯品会商品信息
weixin_42108731的博客
05-07 2021
唯品会商品信息采集步骤： 获取品牌ID和品牌名称； 获取当前品牌商品列表的总页数； 获取每页商品列表中商品的信息。 一、获取品牌ID和品牌名称 def get_task(self,task_list=None): ''' 获取任务 :return: ''' try: print("商品类型列表：",task_list) for task_ in task_list
唯品会爬取
weixin_30885111的博客
09-30 362
爬取首页轮播的链接，名字并且下载图片到本地 # -*- coding: utf-8 -*- import urllib.request import ssl import json context = ssl._create_unverified_context() list_name=[] list_img=[] url='http://pcapi.vip.com/ads/i...
一个简单采集唯品会的Python采集程序，用于采集唯品会商品详情页面的内容
w15189597283的博客
12-01 237
注意，这只是一个基本的示例，实际的爬虫可能需要处理更复杂的情况，例如页面结构的变化、反爬虫机制等。1. 首先，我们需要导入所需的库，包括requests用于发送HTTP请求，BeautifulSoup用于解析HTML，proxybroker用于管理代理。2. 然后，我们设置代理。在这个例子中，我们使用了Proxybroker来管理代理，但是也可以直接在requests的proxies参数中设置代理。5. 最后，我们使用BeautifulSoup找到商品的标题、价格和描述，并将它们存储在相应的变量中。
编程语言教你用python爬取唯品会商品信息，详细教程，仅供学习
09-27 1959
编程语言教你用python爬取唯品会商品信息，详细教程，仅供学习 教你用python爬取唯品会商品信息，详细教程，仅供学习。 代码展示 运行结束来个照 信息保存到表格中 很多人学习python，不知道从何学起。 很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。 很多已经做案例的人，却不知道如何去学习更加高深的知识。 那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！ QQ群：701698587 欢迎加入，一起讨论
python爬取唯品会电商网站数据并保存到csv中
蜗牛壳上的小潘同志的博客
03-24 7717
文章目录1.目标、思路2. 获取数据3.解析数据4.保存数据 1.目标、思路 目标： 本次爬虫爬取的目标是唯品会中口红分类的商品。（url ） 思路：打开网页后点击F12打开抓包工具，找到我们想要的数据包，并分析。 并且可以发现他是通过提交商品id参数来获取这些商品信息的，所以这不是个静态网页，在网页源代码中是找不到商品信息的。 那我们就获取所有的商品ID并传入到商品的数据包URL地址里面就可以获取商品信息了。 2. 获取数据 构建url，headers，params去请求数据。 import req
Python爬取唯品会商品数据，钱包准备好了嘛
2301_79835671的博客
04-08 837
”,’, response_2.text, re.S) # 售价。csv_writer = csv.DictWriter(f, fieldnames=[‘商品名字’, ‘售价’, ‘原价’, ‘折扣’, ‘商品图片地址’])f = open(‘唯品会商品数据.csv’, mode=‘a’, encoding=‘utf-8-sig’, newline=‘’)dit[‘商品图片地址’] = li[4]
python爬虫实战-如何批量爬取唯品会商品信息＞＞＞
DistanceTiAmo的博客
08-06 2816
第一步、打开唯品会网站 https://www.vip.com。然后随意搜索一种商品，比如"键盘",搜索之后下拉发现页面URL没有发生改变，但是商品信息在不断加载，那么这就是动态Ajax技术，遇到这种情况，第一反应就是找接口。 第二步、打开开发者工具，鼠标右键，点击检查，切换到Network选项卡，然后刷新唯品会页面，进行抓包，然后查看每个包的pirview，发现商品信息在‘v2?callback=getMerchandise’中，我们来看一下URL,不看不要紧，一看吓一跳-_-,这URL也太长...
爬虫案例 --唯品会口红数据爬取(附源码)
几许的博客
01-04 1039
【代码】爬虫案例 --唯品会口红数据爬取(附源码)
唯品会商品规格、大小、颜色等爬虫（可用）
06-22
唯品会商品规格、大小、颜色等爬虫（可用）
唯品会数据采集-异步瀑布流
weixin_30917213的博客
08-31 369
数据分析离不开数据的支持，为了分析唯品会，特地采集唯品会数据。 采集入口为手机端，在火狐浏览器下ctrl+shift+M进入手机模式，并点击触屏模式，进入唯品会网站m.vip.com，刷新网页。 点击右上角的搜索： 点击品牌： 这时候打开火狐的firebug，随便进入一个店铺，这时候系统会向唯品会发送一个post，可以在firebug里面找到这个post如下图： 点开+号，选...
爬虫项目七：Python对唯品会商品数据、评论数据的爬取
weixin_47163937的博客
03-25 5010
文章目录前言一、商品数据1.分析页面2.分析url3.解析数据二、评论数据1.抓包2.分析url3.获取数据三、总结 前言 用Python爬取唯品会商品数据、评论数据 提示：以下是本篇文章正文内容，下面案例可供参考 一、商品数据 1.分析页面 我们进入唯品会官网，搜索商品观察页面，向下滑动页面 可以看到数据是动态加载的，对于动态加载数据 有两种办法一个是selenium一个是找接口，我是用的selenium 2.分析url 我们拿首页url看一看，keyword就是商品关键词 无容置疑，但是关键词后.
Python爬虫+数据可视化：分析唯品会商品数据
2301_76161259的博客
08-25 792
唯品会是中国领先的在线特卖会电商平台之一，它以“品牌特卖会”的模式运营，为会员提供品牌折扣商品。唯品会的商品包括服装、鞋类、箱包、美妆、家居、母婴、食品等各类品牌产品。这就是今天的受害者，我们要拿取上面的泳衣数据，然后可以做些数据可视化。
Python爬虫学习-第四篇 Scrapy框架抓取唯品会数据
zq084100153的博客
11-01 2714
上篇博文讲述了scrapy的框架和组件，对于scrapy有了基本的了解，那么我们进入今天的正题：使用Scrapy框架爬取数据。 1.创建Scrapy项目 创建Scrapy工程文件的命令： scrapy startproject scrapytest   此命令是python默认目下创建的工程。 指定目录文件下创建项目： 1.进入指定目录 cd D:\workspaces ...
selenium实例【唯品会爬取】
mjp_erhuo的博客
04-28 1158
import jsonfrom selenium import webdriverfrom time import sleepfrom bs4 import BeautifulSoupimport urllib.parseclass weiSpider(object):def __init__(self,url,shang,start_page,end_page):   self.url = ...
唯品会密码JS解密与python模拟登录
Python_sn的博客
10-15 760
上班都快一周了，一直想更新，奈何小伙还没有从假期的快乐中缓过来，今天终于耐下心来更新一小篇。抠一下某品会的JS代码，接着使用抠取的JS代码加密密码进行登录。友情提示：为避免不必要的纠纷，本文中所有网址都进行了一定隐藏。 很多人学习python，不知道从何学起。 很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。 很多已经做案例的人，却不知道如何去学习更加高深的知识。 那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！??¤QQ群：961562
python 根据需求灵活爬取唯品会商品动态数据
小东升职记
09-20 1032
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.support.wait import WebDriverWait f...
Python爬取唯品会鞋子数据
最新发布
10-21
Python爬取唯品会鞋子数据通常涉及网络爬虫技术，使用像requests库来发送HTTP请求获取网页内容，然后使用BeautifulSoup、Scrapy或Pandas等工具解析HTML数据提取所需信息。以下是简要步骤： 1. 安装必要的库：首先需要安装`requests`, `beautifulsoup4`, 可能还需要`lxml`或`html.parser`处理HTML，以及数据分析库如`pandas`。 ```bash pip install requests beautifulsoup4 pandas ``` 2. 发送GET请求：通过requests库向唯品会鞋子页面发送HTTP GET请求，并获取响应内容。 ```python import requests url = 'https://www.vip.com/search?q=shoes' response = requests.get(url) ``` 3. 解析HTML：使用BeautifulSoup解析HTML内容，定位包含鞋子信息的部分，例如商品标题、价格、链接等。 ```python from bs4 import BeautifulSoup soup = BeautifulSoup(response.text, 'lxml') items = soup.find_all('div', class_='product-item') # 根据实际HTML结构调整选择器 ``` 4. 提取数据：遍历每个找到的商品元素，从中提取需要的信息并保存到字典或pandas DataFrame中。 ```python data = [] for item in items: title = item.find('a', class_='title').text price = item.find('span', class_='price').text link = item.find('a')['href'] data.append({'Title': title, 'Price': price, 'Link': link}) ``` 5. 数据保存：将数据集存储到CSV文件或数据库，以便后续分析。 ```python import pandas as pd df = pd.DataFrame(data) df.to_csv('vipsheep_data.csv', index=False) ``` 注意： - 实际操作时，网站可能会有反爬机制，比如IP限制、验证码、动态加载内容等，需要根据实际情况处理。 - 爬虫活动应遵守网站的robots.txt协议，尊重版权，不要对服务器造成过大负担。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值