淘宝大数据接口解析：商品类目 / 价格 / 销量多维数据采集与存储方案

一、引言

在电商领域，淘宝拥有海量的商品数据，这些数据对于商家的市场分析、营销策略制定以及消费者的购物决策都具有重要价值。本文将详细介绍如何通过淘宝大数据接口采集商品的类目、价格、销量等多维数据，并提供数据存储的方案，同时附上相应的代码示例。

二、前期准备

在开始数据采集之前，需要完成以下准备工作：

1. 淘宝平台入驻：注册账号，创建应用，获取 api_key 和 api_secret，这是调用淘宝接口的必要凭证。
2. 安装必要的 Python 库：使用 requests 库发送 HTTP 请求，pandas 库进行数据处理，sqlite3 库用于数据存储。可以使用以下命令进行安装：

pip install requests pandas

三、淘宝大数据接口调用

淘宝平台提供了丰富的接口，可用于获取商品的各类数据。下面以获取商品的类目、价格、销量数据为例，介绍接口的调用过程。

1. 签名生成

淘宝接口要求对请求参数进行签名，以确保请求的合法性。以下是生成签名的 Python 代码：

import hashlib

def generate_sign(params, secret):
    sorted_params = sorted(params.items(), key=lambda x: x[0])
    sign_str = secret
    for key, value in sorted_params:
        sign_str += f"{key}{value}"
    sign_str += secret
    md5 = hashlib.md5()
    md5.update(sign_str.encode('utf-8'))
    return md5.hexdigest().upper()

2. 发送接口请求

使用 requests 库发送请求获取商品数据：

import requests
import time

def get_product_data(app_key, app_secret, product_id):
    timestamp = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
    params = {
        "method": "taobao.item.get",  # 以获取商品信息接口为例，可根据需求修改
        "app_key": app_key,
        "timestamp": timestamp,
        "format": "json",
        "v": "2.0",
        "sign_method": "md5",
        "fields": "item_id,title,cid,price,sales",  # 需要获取的字段，包括商品 ID、标题、类目 ID、价格、销量
        "num_iid": product_id
    }
    sign = generate_sign(params, app_secret)
    params["sign"] = sign
    url = "http://gw.api.taobao.com/router/rest"
    response = requests.get(url, params=params)
    return response.json()

四、多维数据采集

可以编写一个循环来批量采集多个商品的多维数据：

app_key = "your_app_key"
app_secret = "your_app_secret"
product_ids = [123456, 234567, 345678]  # 替换为实际的商品 ID 列表
all_product_data = []
for product_id in product_ids:
    data = get_product_data(app_key, app_secret, product_id)
    all_product_data.append(data)

 

五、数据存储方案

采集到的数据需要进行存储以便后续分析。这里使用 sqlite3 数据库进行数据存储。

import sqlite3

# 连接到数据库
conn = sqlite3.connect('taobao_product_data.db')
cursor = conn.cursor()

# 创建数据表
cursor.execute('''
CREATE TABLE IF NOT EXISTS products (
    item_id INTEGER PRIMARY KEY,
    title TEXT,
    cid INTEGER,
    price REAL,
    sales INTEGER
)
''')

# 将采集到的数据插入数据库
for data in all_product_data:
    item = data.get('item_get_response', {}).get('item', {})
    item_id = item.get('item_id')
    title = item.get('title')
    cid = item.get('cid')
    price = item.get('price')
    sales = item.get('sales')
    if item_id:
        cursor.execute('''
        INSERT OR REPLACE INTO products (item_id, title, cid, price, sales)
        VALUES (?,?,?,?,?)
        ''', (item_id, title, cid, price, sales))

# 提交更改并关闭连接
conn.commit()
conn.close()

 六、完整代码示例

import hashlib
import requests
import time
import pandas as pd
import sqlite3


def generate_sign(params, secret):
    sorted_params = sorted(params.items(), key=lambda x: x[0])
    sign_str = secret
    for key, value in sorted_params:
        sign_str += f"{key}{value}"
    sign_str += secret
    md5 = hashlib.md5()
    md5.update(sign_str.encode('utf-8'))
    return md5.hexdigest().upper()


def get_product_data(app_key, app_secret, product_id):
    timestamp = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
    params = {
        "method": "taobao.item.get",
        "app_key": app_key,
        "timestamp": timestamp,
        "format": "json",
        "v": "2.0",
        "sign_method": "md5",
        "fields": "item_id,title,cid,price,sales",
        "num_iid": product_id
    }
    sign = generate_sign(params, app_secret)
    params["sign"] = sign
    url = "http://gw.api.taobao.com/router/rest"
    response = requests.get(url, params=params)
    return response.json()


app_key = "your_app_key"
app_secret = "your_app_secret"
product_ids = [123456, 234567, 345678]
all_product_data = []
for product_id in product_ids:
    data = get_product_data(app_key, app_secret, product_id)
    all_product_data.append(data)

# 连接到数据库
conn = sqlite3.connect('taobao_product_data.db')
cursor = conn.cursor()

# 创建数据表
cursor.execute('''
CREATE TABLE IF NOT EXISTS products (
    item_id INTEGER PRIMARY KEY,
    title TEXT,
    cid INTEGER,
    price REAL,
    sales INTEGER
)
''')

# 将采集到的数据插入数据库
for data in all_product_data:
    item = data.get('item_get_response', {}).get('item', {})
    item_id = item.get('item_id')
    title = item.get('title')
    cid = item.get('cid')
    price = item.get('price')
    sales = item.get('sales')
    if item_id:
        cursor.execute('''
        INSERT OR REPLACE INTO products (item_id, title, cid, price, sales)
        VALUES (?,?,?,?,?)
        ''', (item_id, title, cid, price, sales))

# 提交更改并关闭连接
conn.commit()
conn.close()
    

 

七、总结

通过以上步骤，你可以使用 Python 结合淘宝大数据接口实现商品类目、价格、销量等多维数据的采集，并将数据存储到 SQLite 数据库中。在实际应用中，你可以根据具体需求调整接口请求的参数和数据存储的方式，以满足不同的业务场景。同时，要注意遵守淘宝开放平台的使用规则，避免因违规操作导致账号被封禁。