Python实战采集某宝商品：帮你挑选最爱的月饼口味

马上到月饼节了，又到了吃月饼的日子了，python帮你挑选最爱的月饼口味

目标网址：某宝

工具使用

开发工具：pycharm
开发环境：python3.7， Windows10
使用工具包：requests，lxml

重点学习的内容

• get请求
• 获取网页数据
• 提取数据方法

项目思路解析

淘宝网站是需要登录获取，登录的方式可以尝试解析淘宝的接口，白又白这里直接用cookie请求头的方式实现状态保持，登录之后获取(但是最近淘宝好像是不需要登录了，小伙伴可以自己尝试下)
找到你需要搜索的关键字，马上要中秋节了（白又白这里搜索的是月饼）

淘宝的页数是由url进行渲染的，通过url来获取商品的页数
url可以做简化处理

简化之前
https://s.taobao.com/search?q=%E6%9C%88%E9%A5%BC&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20210829&ie=utf8&bcoffset=3&ntoffset=3&p4ppushleft=2%2C48&s=44

简化之后
https://s.taobao.com/search?q={}&s={}

q为搜索的关键字，s为你要获取的页数
通过requests工具发送网络请求
获取网页数据
​

    key = "月饼"
    for i in range(1, 4):
        url = 'https://s.taobao.com/search?q={}&s={}'.format(key, str