最全用Python批量获取唯品会商品数据（附视频教程），2024年最新阿里面试问面试官什么问题

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

五、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

先获取商品ID 再把商品ID 分段传入请求 再获取商品数据 最后再保存

二. 代码实现过程

1. 发送请求

2. 获取数据

3. 解析数据(提取商品ID)

4. 把商品ID分段传入 发送请求

5. 解析数据(提取商品信息)

6. 保存数据

7. 多页爬取

requests要自己安装一下

import requests # 发送请求 数据请求 pip install requests

import pprint # 格式化输出模块

import csv # 内置模块

import time

写入表头

f = open(‘口红数据.csv’, mode=‘a’, encoding=‘utf-8’, newline=‘’)

csv_writer = csv.DictWriter(f, fieldnames=[‘标题’, ‘品牌’, ‘原价’, ‘折扣’, ‘售价’, ‘基本信息’, ‘详情页’])

csv_writer.writeheader()

发送请求 获取数据 解析数据

headers = {

‘referer’: ‘https://category.vip.com/’,

‘user-agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.3’,

}

def get_shop_info(pid):

index_url = ‘https://mapi.vip.com/vips-mobile/rest/shopping/pc/product/module/list/v2’

params_1 = {

‘app_name’: ‘shop_pc’,

‘app_version’: ‘4.0’,

‘warehouse’: ‘VIP_HZ’,

‘fdc_area_id’: ‘104103101’,

‘client’: ‘pc’,

‘mobile_platform’: ‘1’,

‘province_id’: ‘104103’,

‘api_key’: ‘70f71280d5d547b2a7bb370a529aeea1’,

‘user_id’: ‘’,

‘mars_cid’: ‘1618053045038_6c9f5ed5dbad3934f24d94f695bd47c8’,

‘wap_consumer’: ‘a’,

‘productIds’: pid,

‘scene’: ‘search’,

‘standby_id’: ‘nature’,

‘extParams’: ‘{“stdSizeVids”:“”,“preheatTipsVer”:“3”,“couponVer”:“v2”,“exclusivePrice”:“1”,“iconSpec”:“2x”,“ic2label”:1}’,

‘context’: ‘’,

‘_’: ‘1627993112200’,

}

response_1 = requests.get(url=index_url, params=params_1, headers=headers)

json_data = response_1.json()[‘data’][‘products’]

for index in json_data:

try:

title = index[‘title’]

name = index[‘brandShowName’]

market_price = index[‘price’][‘marketPrice’]

sale = index[‘price’][‘saleDiscount’]

sale_price = index[‘price’][‘salePrice’]

shop_info = ‘|’.join([j[‘name’] + ‘:’ + j[‘value’] for j in index[‘attrs’]])

https://detail.vip.com/detail-1711236176-6918710001647165520.html

href = ‘https://detail.vip.com/detail-’ + index[‘brandId’] + ‘-’ + index[‘productId’] + ‘.html’

[色系: 豆沙色调]

dit = {

‘标题’: title,

‘品牌’: name,

‘原价’: market_price,

‘折扣’: sale,

‘售价’: sale_price,

‘基本信息’: shop_info,

‘详情页’: href,

}

csv_writer.writerow(dit)

print(title, name, market_price, sale, sale_price, shop_info, href)

except:

pass

部分代码

for page in range(0, 1081, 120):

time.sleep(1)

发送请求网址 我们要去浏览的一个网址

url = ‘https://mapi.vip.com/vips-mobile/rest/shopping/pc/search/product/rank’

params = {

‘callback’: ‘getMerchandiseIds’,

‘app_name’: ‘shop_pc’,

‘app_version’: ‘4.0’,

‘warehouse’: ‘VIP_HZ’,

‘fdc_area_id’: ‘104103101’,

‘client’: ‘pc’,

‘mobile_platform’: ‘1’,

‘province_id’: ‘104103’,

‘api_key’: ‘70f71280d5d547b2a7bb370a529aeea1’,

‘mars_cid’: ‘1618053045038_6c9f5ed5dbad3934f24d94f695bd47c8’,

‘wap_consumer’: ‘a’,

‘standby_id’: ‘nature’,

‘keyword’: ‘口红’,

‘sort’: ‘0’,

‘pageOffset’: page,

‘channelId’: ‘1’,

‘gPlatform’: ‘PC’,

‘batchSize’: ‘120’,

‘_’: ‘1627993112197’,

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

工具都帮大家整理好了，安装就可直接上手！

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、Python视频合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试宝典

简历模板

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！