通过Python自动爬取某宝网上的商品信息

前端时间研究了一下Python,在网上搜了一下实战应用,感觉还不错。

一:思路

  1. 首先导入re库

  2. 访问淘宝搜索页

  3. 查看url参数信息

  4. 查看搜索结果页面,查看某个结果中的元素信息(例如:商品的名称,商品的价格,商品,商品的评论数量等)

二:需要导入的库

import re
import requests

三:代码

import re
import requests
url = 'https://s.taobao.com/search'#访问淘宝搜索页
payload = {'q':'手机', 's':'3', 'ie':'utf8'}  #字典传递url参数
file = open('taobao.text', 'w', encoding='utf-8')

for k in range(0,3):        #3次,就是3页的商品数据

    payload['s'] = 44 * k + 1   #此处改变的url参数为s,s为1时第一页,s为45是第二页,89时第三页以此类推
    resp = requests.get(url, params=payload)
    print(resp.url)          #打印访问的网址
    resp.encoding = 'utf-8'  #设置编码
    title = re.findall(r'"tb-main-title:"([^"]+)"', resp.text, re.I)  #手机的名称
    price = re.findall(r'"tb-rmb-num":"([^"]+)"', resp.text, re.I)#手机的价格
    loc = re.findall(r'"tb-rate-counter":"([^"]+)"', resp.text, re.I)#累计评论
    x = len(title)           #每一页商品的数量

    for i in range(0, x) :    #把缓冲中的数据保存到文件中
        file.write(str(k * 44 + i + 1) + '手机名称:' + title[i] + '\n' + '手机价格:' + price[i] + '\n' + '累计评论' + loc[i] + '\n\n')

file.close()

 

©️2020 CSDN 皮肤主题: 1024 设计师:上身试试 返回首页