python爬取1688商品详情数据的完整教程

Jelena15779585792

已于 2025-03-06 14:16:53 修改

阅读量1.8k

点赞数 35

分类专栏： 1688API 文章标签：爬虫数据库 python

于 2025-03-06 14:14:48 首次发布

本文链接：https://blog.csdn.net/J15779585792/article/details/146069476

版权

1688API 专栏收录该内容

24 篇文章

订阅专栏

在电商数据分析和运营中，获取商品详情数据是至关重要的一步。1688作为国内领先的B2B批发平台，提供了丰富的商品详情API接口，方便开发者和企业高效获取商品信息。本文将详细介绍如何通过1688开放平台的API接口爬取商品详情数据，包括接口接入、数据解析、存储与应用的最佳实践。

一、为什么选择1688 API接口

在数据采集过程中，传统爬虫方案面临诸多挑战，例如反爬机制严格、数据缺失（如批发价格需登录后可见）以及法律风险。相比之下，1688官方API接口具有以下优势：

合法合规：通过官方接口获取数据，完全符合法律法规。
数据丰富：能够直接获取批发价、SKU库存、最小起订量（MOQ）等核心数据。
高效稳定：支持分页查询和批量获取，适合大规模数据采集。

二、开发前准备

1. 账号注册与认证

在使用1688 API接口之前，需要完成以下步骤：

访问1688开放平台，完成企业开发者实名认证。
准备营业执照、法人身份证、对公账户信息等材料，完成企业资质认证。
创建应用并申请“商品信息查询”权限，审核周期通常为1-3个工作日。

2. 获取API凭证

完成认证后，系统会生成App Key和App Secret，这两个凭证是调用接口的必要参数。

3. 环境依赖

开发环境需要以下依赖：

Python 3.6+：用于编写爬虫代码。
Requests库：用于发送HTTP请求。
Hashlib库：用于生成MD5签名。

三、接口调用全流程解析

1. 选择接口

1688提供了多个接口用于获取商品详情数据。常用的接口包括：

alibaba.product.get：通过商品ID获取商品详情。
alibaba.trade.product.search4trade：获取指定店铺的全量商品数据。

2. 构建请求参数

以alibaba.product.get接口为例，请求参数通常包括：

method：接口方法名。
app_key：应用的App Key。
product_id：商品ID。
timestamp：时间戳（13位Unix时间）。
sign：签名，用于验证请求的合法性。

3. 签名生成

1688 API接口采用MD5加密签名验证请求合法性。签名生成步骤如下：

将除sign外的参数按字母升序排列。
拼接键值对为字符串，末尾追加App Secret。
对拼接结果进行MD5哈希并转为大写。

以下是Python代码示例：

Python

import hashlib
import time

def generate_sign(params, app_secret):
    params_sorted = sorted(params.items())
    sign_str = "&".join([f"{k}{v}" for k, v in params_sorted if k != "sign"])
    sign = hashlib.md5((sign_str + app_secret).encode('utf-8')).hexdigest().upper()
    return sign

4. 发送请求

使用requests库向1688 API接口发送请求。以下是完整代码示例：

Python

import requests

app_key = "YOUR_APP_KEY"
app_secret = "YOUR_APP_SECRET"
product_id = "商品ID"  # 示例：从商品URL中获取

params = {
    "method": "alibaba.product.get",
    "app_key": app_key,
    "product_id": product_id,
    "timestamp": str(int(time.time() * 1000)),
    "format": "json",
    "v": "2.0"
}
params["sign"] = generate_sign(params, app_secret)

response = requests.get("https://gw.open.1688.com/openapi/param2/2/portals.open/api/", params=params)
data = response.json()
print(data)

5. 数据解析

接口返回的数据通常是JSON格式。以下是一个返回数据结构示例：

JSON

{
  "result": {
    "productInfo": {
      "productId": "123456",
      "subject": "商品标题",
      "priceRange": "15.80-18.60",
      "moq": 100,
      "skuList": [
        {
          "skuId": "7890",
          "spec": "规格描述",
          "price": "15.80",
          "stock": 2000
        }
      ]
    }
  }
}

可以通过以下代码提取关键字段：

Python复制

product_info = data["result"]["productInfo"]
print(f"商品标题：{product_info['subject']}")
print(f"批发价格区间：{product_info['priceRange']}")
print(f"最小起订量：{product_info['moq']}")

6. 分页数据抓取

如果需要获取店铺全量商品数据，可以使用alibaba.trade.product.search4trade接口，并通过分页机制循环获取：

Python

def fetch_all_products(seller_member_id, app_key, app_secret):
    page_no = 1
    all_products = []
    while True:
        params = {
            "method": "alibaba.trade.product.search4trade",
            "app_key": app_key,
            "seller_member_id": seller_member_id,
            "page_no": page_no,
            "page_size": 50,
            "timestamp": str(int(time.time() * 1000)),
            "format": "json",
            "v": "2.0"
        }
        params["sign"] = generate_sign(params, app_secret)
        response = requests.get("https://gw.open.1688.com/openapi/param2/2/portals.open/api/", params=params)
        data = response.json()
        products = data.get("result", {}).get("products", [])
        if not products:
            break
        all_products.extend(products)
        page_no += 1
    return all_products

四、数据存储与应用

1. 数据存储

获取到的商品详情数据可以存储到本地文件或数据库中，以便后续分析和使用。例如，使用Pandas库将数据保存为CSV文件：

Python

import pandas as pd

df = pd.DataFrame(all_products)
df.to_csv("products.csv", index=False)

2. 数据应用

商品详情数据可以用于多种业务场景，例如：

市场分析：通过分析商品价格、库存和销量，了解市场趋势。
智能采购：实时监控供应商价格波动，设置自动下单阈值。
竞品监控：分析竞争对手的商品信息，优化自身产品。

五、常见问题与解决方案

1. 签名错误

签名错误是常见的问题，通常是参数排序、拼接或加密方式不正确导致的。建议使用官方签名校验工具。

2. 调用频率限制

1688接口有调用频率限制，超出限制可能导致接口被限流。企业认证用户可以申请更高的调用频率。

3. 数据缺失

如果某些字段未返回数据，可能是接口权限未开启或字段名称拼写错误。

六、安全与合规实践

1. 数据加密存储

存储数据时需进行加密处理，确保数据安全。

2. 遵守法律法规

在采集和使用数据时，需遵守相关法律法规，尊重网站的robots.txt文件规定。

3. 合理设置请求频率

避免过高的请求频率导致对方服务器压力过大，甚至被封禁IP。

七、总结

通过1688开放平台提供的API接口，开发者可以高效地爬取商品详情数据，用于数据分析、采购决策和竞品监控等多种场景。本文详细介绍了接口接入、数据解析、存储与应用的最佳实践，希望对您的开发工作有所帮助。

如遇任何疑问或有进一步的需求，请随时与我私信或者评论联系。