通过Python自动爬取某宝网上的商品信息

前端时间研究了一下Python，在网上搜了一下实战应用，感觉还不错。

一：思路

1. 首先导入re库

2. 访问淘宝搜索页

3. 查看url参数信息

4. 查看搜索结果页面，查看某个结果中的元素信息（例如：商品的名称，商品的价格，商品，商品的评论数量等）

二：需要导入的库

import re
import requests

三：代码

import re
import requests
url = 'https://s.taobao.com/search'#访问淘宝搜索页
payload = {'q':'手机', 's':'3', 'ie':'utf8'}  #字典传递url参数
file = open('taobao.text', 'w', encoding='utf-8')

for k in range(0,3):        #3次，就是3页的商品数据

    payload['s'] = 44 * k + 1   #此处改变的url参数为s，s为1时第一页，s为45是第二页，89时第三页以此类推
    resp = requests.get(url, params=payload)
    print(resp.url)          #打印访问的网址
    resp.encoding = 'utf-8'  #设置编码
    title = re.findall(r'"tb-main-title:"([^"]+)"', resp.text, re.I)  #手机的名称
    price = re.findall(r'"tb-rmb-num":"([^"]+)"', resp.text, re.I)#手机的价格
    loc = re.findall(r'"tb-rate-counter":"([^"]+)"', resp.text, re.I)#累计评论
    x = len(title)           #每一页商品的数量

    for i in range(0, x) :    #把缓冲中的数据保存到文件中
        file.write(str(k * 44 + i + 1) + '手机名称：' + title[i] + '\n' + '手机价格：' + price[i] + '\n' + '累计评论' + loc[i] + '\n\n')

file.close()