速卖通API数据清洗实战：从原始JSON到结构化商品数据库

下面将详细介绍如何把速卖通 API 返回的原始 JSON 数据清洗并转换为结构化商品数据库。

1. 数据获取

首先要借助速卖通 API 获取商品数据，以 Python 为例，可使用requests库发送请求并得到 JSON 数据。

import requests

# 替换为你的 API Key 和 Secret
API_KEY = 'your_api_key'
SECRET = 'your_secret'
API_URL = f'https://api.aliexpress.com/get_products?api_key={API_KEY}&secret={SECRET}'

try:
    response = requests.get(API_URL)
    response.raise_for_status()
    raw_data = response.json()
except requests.RequestException as e:
    print(f"请求出错: {e}")
except ValueError as e:
    print(f"解析 JSON 数据出错: {e}")

2. 数据清洗步骤

2.1 缺失值处理

原始 JSON 数据里可能存在缺失值，你可以选择删除包含缺失值的记录或者填充默认值。

import pandas as pd

# 将原始 JSON 数据转换为 DataFrame
df = pd.DataFrame(raw_data)

# 删除包含缺失值的行
df = df.dropna()

# 或者填充默认值
df = df.fillna({'price': 0, 'quantity': 0})

2.2 数据类型转换

JSON 数据里的字段类型可能不符合数据库的要求，需要进行转换。

# 将价格字段转换为浮点数类型
df['price'] = pd.to_numeric(df['price'], errors='coerce')

# 将日期字段转换为日期类型
df['create_date'] = pd.to_datetime(df['create_date'])

2.3 重复数据处理

要检查并删除重复的数据记录。

# 删除重复的记录
df = df.drop_duplicates()

2.4 异常值处理

找出并处理异常值，例如价格为负数或者数量为负数的情况。

# 过滤掉价格为负数的记录
df = df[df['price'] >= 0]

# 过滤掉数量为负数的记录
df = df[df['quantity'] >= 0]

3. 数据存储到数据库

使用SQLAlchemy库把清洗后的数据存储到关系型数据库（如 MySQL）中。

4. 总结

经过上述步骤，你就能够把速卖通 API 返回的原始 JSON 数据清洗并转换为结构化商品数据库。在实际应用中，你可以依据具体需求对数据清洗和存储的逻辑进行调整。同时，要确保数据库的安全性和性能，例如合理设计数据库表结构、建立索引等。