Python爬取唯品会商品数据，钱包准备好了嘛，python简历项目经验

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Python全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Python知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024c （备注Python）

正文

想要找到url的变化规律，那么就需要你自己多去看几个数据，同样的方法一个数据接口只要五十条数据，那么就可以选择第51条数据或者后面的数据去搜索，查找相对应的数据接口，通过一系列的对比发现，url中的参数productIds 的变化，参数中就是每个商品ID值了，那问题来了，怎么才能获取商品的ID值呢？其实方法和上面的一样，复制ID值找到相关的数据接口。

这里面就有这一整页 120个商品的id值，问题它又又双叒叕，总不能只爬取一页的数据吧，所以还要分析获取ID值每一页的url变化，还是一样想知道url的变化规律多看几页就知道了~

这里就省略了~

• 第一页

• 第二页

pageOffset参数的变化每120个数据翻一页嘛，ID都获取了，前面也看到每个商品数据接口对应的是50条数据，经过分析就知道 120个商品划分为是三个 50,50,20 分别传入相对应的商品ID就可以了。

实现代码

---

• 获取每页商品ID值

for page in range(0, 1201, 120):

url = ‘https://mapi.vip.com/vips-mobile/rest/shopping/pc/search/product/rank’

headers = {

‘referer’: ‘https://category.vip.com/suggest.php?keyword=%E5%8F%A3%E7%BA%A2&ff=235%7C12%7C1%7C1&page=3’,

‘user-agent’: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36’

}

params = {

‘callback’: ‘getMerchandiseIds’,

‘app_name’: ‘shop_pc’,

‘app_version’: ‘4.0’,

‘warehouse’: ‘VIP_NH’,

‘fdc_area_id’: ‘104104101’,

‘client’: ‘pc’,

‘mobile_platform’: ‘1’,

‘province_id’: ‘104104’,

‘api_key’: ‘70f71280d5d547b2a7bb370a529aeea1’,

‘user_id’: ‘’,

‘mars_cid’: ‘1602569282048_0b4beb3d18306a0a0143c359ddb34fae’,

‘wap_consumer’: ‘a’,

‘standby_id’: ‘nature’,

‘keyword’: ‘口红’,

‘lv3CatIds’: ‘’,

‘lv2CatIds’: ‘’,

‘lv1CatIds’: ‘’,

‘brandStoreSns’: ‘’,

‘props’: ‘’,

‘priceMin’: ‘’,

‘priceMax’: ‘’,

‘vipService’: ‘’,

‘sort’: ‘0’,

‘pageOffset’: ‘{}’.format(page),

‘channelId’: ‘1’,

‘gPlatform’: ‘PC’,

‘batchSize’: ‘120’,

‘_’: ‘1603721644362’,

}

response = requests.get(url=url, params=params, headers=headers)

ids = re.findall(‘“pid”:“(.*?)”’, response.text, re.S)

• 获取商品数据

def get_data(num_id):

data_url = ‘https://mapi.vip.com/vips-mobile/rest/shopping/pc/product/module/list/v2’

headers = {

‘referer’: ‘https://category.vip.com/suggest.php?keyword=%E5%8F%A3%E7%BA%A2&ff=235%7C12%7C1%7C1&page=3’,

‘user-agent’: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36’

}

params = {

‘callback’: ‘getMerchandiseDroplets2’,

‘app_name’: ‘shop_pc’,

‘app_version’: ‘4.0’,

‘warehouse’: ‘VIP_NH’,

‘fdc_area_id’: ‘104104101’,

‘client’: ‘pc’,

‘mobile_platform’: ‘1’,

‘province_id’: ‘104104’,

‘api_key’: ‘70f71280d5d547b2a7bb370a529aeea1’,

‘user_id’: ‘’,

‘mars_cid’: ‘1602569282048_0b4beb3d18306a0a0143c359ddb34fae’,

‘wap_consumer’: ‘a’,

‘productIds’: ‘{}’.format(num_id),

‘scene’: ‘search’,

‘standby_id’: ‘nature’,

‘extParams’: ‘{“stdSizeVids”:“”,“preheatTipsVer”:“3”,“couponVer”:“v2”,“exclusivePrice”:“1”,“iconSpec”:“2x”}’,

‘context’: ‘’,

‘_’: ‘1603721644366’,

}

response_2 = requests.get(url=data_url, params=params, headers=headers)

titles = re.findall(‘“title”:“(.*?)”’, response_2.text, re.S) # 标题

salePrice = re.findall(‘,“salePrice”:“(.*?)”,’, response_2.text, re.S) # 售价

marketPrice = re.findall(‘“marketPrice”:“(.*?)”’, response_2.text, re.S) # 原价

saleDiscount = re.findall(‘“saleDiscount”:“(.*?)”’, response_2.text, re.S) # 折扣

smallImage = re.findall(‘“smallImage”:“(.*?)”’, response_2.text, re.S) # 商品图片地址

lis = zip(titles, salePrice, marketPrice, saleDiscount, smallImage)

dit = {}

for li in lis:

dit[‘商品名字’] = li[0]

dit[‘售价’] = li[1]

dit[‘原价’] = li[2]

dit[‘折扣’] = li[3]

dit[‘商品图片地址’] = li[4]

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

工具都帮大家整理好了，安装就可直接上手！

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、Python视频合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试宝典

简历模板

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024c （备注python）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
pic_center)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024c （备注python）
[外链图片转存中…(img-zrd5ZHlR-1713175417029)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！