利用 Python 爬虫采集 1688商品详情关键词数据-API

已于 2023-05-04 11:45:14 修改
阅读量3.5k 收藏 10
点赞数 1
文章标签： java phonegap
于 2023-05-04 11:08:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2303_76945341/article/details/130482501
版权

要利用 Python 爬虫采集 1688 商品详情数据，需要先了解 1688 网站的页面结构和数据请求方式。一般使用 requests 库请求网站的数据，使用 BeautifulSoup 库解析网页中的数据。

以下是一个简单的 Python 爬虫采集 1688 商品详情数据的示例代码：

import requests
from bs4 import BeautifulSoup

url = 'https://detail.1688.com/offer/XXXXXXXXXX.html'   # 替换为要采集的商品链接
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)

soup = BeautifulSoup(response.content, 'html.parser')

# 获取商品标题
title = soup.find('h1', {'class': 'd-title'}).text.strip()

# 获取商品价格
price = soup.find('span', {'class': 'price-tag-text-sku'}).text.strip()

# 获取商品详细描述
description = soup.find('div', {'class': 'obj-leading'}).text.strip()

# 获取商品图片
images = []
for img in soup.find_all('img', {'class': 'desc-lazyload'}):
    images.append(img.get('src'))

# 获取商品规格参数
params = {}
for key, value in zip(soup.select('.name'), soup.select('.value')):
    params[key.text.strip()] = value.text.strip()

上述代码可以获取商品的标题、价格、详细描述、图片链接和规格参数等信息。需要注意的是，实际的网页结构可能会有所变化，因此需要根据实际情况对代码进行适当修改。

另外，针对 1688 网站的数据爬取，可以使用一些专门的爬虫工具，如 Octoparse、Import.io 等，这些工具可以通过简单的设置和操作，获取大量商品信息并导出到 Excel、CSV 等格式的文件中，为电商运营和数据分析带来了很大的便利。

根据关键词在淘宝 1688 拼多多京东等电商平台上搜索商品，并将商品的商品 ID，商品 url 等页面上有的信息抓取下来。

首先，我们打开首页，输入关键词：女装 新款

 

点击通过测试关键字搜索商品以下↓↓↓

1688.item_search

公共参数

名称类型必须描述
keyString是调用key（获取Key和secret）
secretString是调用密钥
api_nameString是API接口名称（包括在请求地址中）[item_search,item_get,item_search_shop等]
cacheString否[yes,no]默认yes，将调用缓存的数据，速度比较快
result_typeString否[json,jsonu,xml,serialize,var_export]返回数据格式，默认为json，jsonu输出的内容中文可以直接阅读
langString否[cn,en,ru]翻译语言，默认cn简体中文
versionString否API版本

响应示例

{
	"items": {
		"page": "1",
		"real_total_results": 1900,
		"total_results": 1900,
		"page_size": 19,
		"pagecount": 100,
		"item": [
			{
				"title": "2019 wish 跨境秋季欧美爆板女装连衣裙 修身显瘦长款花朵吊带裙",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/2020/636/393/14247393636_846235425.jpg",
				"promotion_price": "17.00",
				"price": "17.00",
				"sales": 7000,
				"num_iid": "45566582412",
				"seller_nick": "广州伊霏凡服饰有限公司",
				"tag_percent": "58.6%",
				"area": "广州市",
				"detail_url": "https://detail.1688.com/offer/45566582412.html"
			},
			{
				"title": "连衣裙女2021春夏新款系带泡泡袖显瘦收腰碎花短裙外贸女装批发",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/2020/854/650/22828056458_1179464981.jpg",
				"promotion_price": "17.00",
				"price": "17.00",
				"sales": 140000,
				"num_iid": "631485240015",
				"seller_nick": "普宁市燎原五笔蟹服装厂",
				"tag_percent": "25.5%",
				"area": "普宁市",
				"detail_url": "https://detail.1688.com/offer/631485240015.html"
			},
			{
				"title": "跨境电商ebay热卖欧美女装性感手工钩织流苏休闲套装泳装罩衫 5星",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/2020/875/994/16281499578_212653647.jpg",
				"promotion_price": "50.00",
				"price": "50.00",
				"sales": 5000,
				"num_iid": "619158432168",
				"seller_nick": "泉州市众思创进出口贸易有限公司",
				"tag_percent": "52%",
				"area": "晋江市",
				"detail_url": "https://detail.1688.com/offer/619158432168.html"
			},
			{
				"title": "2021亚马逊跨境欧美春夏女装亚马逊宽松纯色印花无袖休闲套装现货",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/O1CN01KeBeft1fDgDqEAbLX_!!1795473973-0-cib.jpg",
				"promotion_price": "42.00",
				"price": "42.00",
				"sales": 50000,
				"num_iid": "635637669426",
				"seller_nick": "秦新喜",
				"tag_percent": "50.7%",
				"area": "广州市",
				"detail_url": "https://detail.1688.com/offer/635637669426.html"
			},
			{
				"title": "2021欧美春夏女装亚马逊独立站wish新品女透明网纱印花性感两件套",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/O1CN01jErYe826CIe9HUGim_!!6000000007625-0-cib.jpg",
				"promotion_price": "37.00",
				"price": "37.00",
				"sales": 20000,
				"num_iid": "635021107526",
				"seller_nick": "厦门锦之涵服饰有限公司",
				"tag_percent": "40.9%",
				"area": "广州市",
				"detail_url": "https://detail.1688.com/offer/635021107526.html"
			},
			{
				"title": "实拍韩国2021夏季新款女装韩版宽松几何印花短袖T恤女豹纹休闲裤",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/O1CN01vVsWfj222u4XacESW_!!2206515787063-0-cib.jpg",
				"promotion_price": "34.30",
				"price": "34.30",
				"sales": 4000,
				"num_iid": "637815988990",
				"seller_nick": "息县韩依时代女装服装批发店",
				"tag_percent": "6.4%",
				"area": "广州市",
				"detail_url": "https://detail.1688.com/offer/637815988990.html"
			},
			{
				"title": "欧美风2020秋冬女装新款性感修身小背心高腰包臀阔腿裤休闲套装女",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/2020/282/083/21871380282_1453572700.jpg",
				"promotion_price": "59.90",
				"price": "59.90",
				"sales": 9000,
				"num_iid": "629900610899",
				"seller_nick": "广州市依米尔服饰有限公司",
				"tag_percent": "40%",
				"area": "广州市",
				"detail_url": "https://detail.1688.com/offer/629900610899.html"
			},
			{
				"title": "连衣裙女2021春夏新款女装长袖小碎花中长款打底裙两件套现货",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/2020/902/061/23571160209_11863035.jpg",
				"promotion_price": "35.00",
				"price": "35.00",
				"sales": 60,
				"num_iid": "634431267098",
				"seller_nick": "东莞市韩寇服饰有限公司",
				"tag_percent": "26.3%",
				"area": "东莞市",
				"detail_url": "https://detail.1688.com/offer/634431267098.html"
			},
			{
				"title": "X3897跨境新品速卖通亚马逊wish时尚欧美休闲女装针织无袖连体裤",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/2020/621/724/23478427126_892403295.jpg",
				"promotion_price": "36.00",
				"price": "36.00",
				"sales": 3000,
				"num_iid": "633528105461",
				"seller_nick": "广州市馨衣竹服饰有限公司",
				"tag_percent": "52.5%",
				"area": "广州市",
				"detail_url": "https://detail.1688.com/offer/633528105461.html"
			},
			{
				"title": "现货 A8327 欧美女装 2021 春夏纯色多色长袖短裤运动休闲套装",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/O1CN01wT5fne1OR6Myiyev6_!!4019511701-0-cib.jpg",
				"promotion_price": "40.00",
				"price": "40.00",
				"sales": 3000,
				"num_iid": "638597250778",
				"seller_nick": "深圳市宝安区黛安娜服饰商行",
				"tag_percent": "51.4%",
				"area": "广州市",
				"detail_url": "https://detail.1688.com/offer/638597250778.html"
			},
			{
				"title": "2021年毛衣女网红韩版女装春季短袖t恤女秋中袖打底针织衫泡泡袖",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/O1CN01j8ugIs1a2caa5B5wM_!!3249173272-0-cib.jpg",
				"promotion_price": "26.00",
				"price": "26.00",
				"sales": 40000,
				"num_iid": "638033144991",
				"seller_nick": "东莞市大朗千其时装厂",
				"tag_percent": "13.3%",
				"area": "东莞市",
				"detail_url": "https://detail.1688.com/offer/638033144991.html"
			},
			{
				"title": "S936欧美女装时尚印花比基尼绑带罩衫三件套连衣裙",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/O1CN01iCuTMR1D7tzQjEA9t_!!2209219760170-0-cib.jpg",
				"promotion_price": "44.00",
				"price": "44.00",
				"sales": 4000,
				"num_iid": "638197893788",
				"seller_nick": "丰泽区晟晴服饰商行",
				"tag_percent": "51.2%",
				"area": "泉州市",
				"detail_url": "https://detail.1688.com/offer/638197893788.html"
			},
			{
				"title": "2020亚马逊秋季爆款女装礼服 欧美跨境单肩披肩连体裤一件代发",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/2020/811/548/15617845118_1268699109.jpg",
				"promotion_price": "57.00",
				"price": "57.00",
				"sales": 5000,
				"num_iid": "569999372751",
				"seller_nick": "深圳市龙岗区嫚姿秀服装厂",
				"tag_percent": "45.1%",
				"area": "深圳市",
				"detail_url": "https://detail.1688.com/offer/569999372751.html"
			},
			{
				"title": null,
				"pic_url": null,
				"promotion_price": null,
				"price": null,
				"sales": null,
				"num_iid": null,
				"seller_nick": null,
				"tag_percent": null,
				"area": null,
				"detail_url": "https://detail.1688.com/offer/.html"
			},
			{
				"title": "运动套装女2021春秋新款韩版字母大码女装显瘦立领运动套装两件套",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/2020/681/734/21112437186_208991165.jpg",
				"promotion_price": "90.00",
				"price": "90.00",
				"sales": 130000,
				"num_iid": "625750406348",
				"seller_nick": "厦门比尔百姿时装有限公司",
				"tag_percent": "11.9%",
				"area": "厦门市",
				"detail_url": "https://detail.1688.com/offer/625750406348.html"
			},
			{
				"title": "欧美爆品2021春新款女装长袖后背交叉绑带露脐木耳边T恤短裙套装",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/2020/954/267/18484762459_879671070.jpg",
				"promotion_price": "34.80",
				"price": "34.80",
				"sales": 10000,
				"num_iid": "624048587609",
				"seller_nick": "广州简翰服装贸易有限公司",
				"tag_percent": "32.3%",
				"area": "广州市",
				"detail_url": "https://detail.1688.com/offer/624048587609.html"
			},
			{
				"title": "新品9色冰瓷棉短袖t恤女春夏2021日系圆领修身打底衫直播ins女装",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/O1CN01yFlidp1cnSJzO7gIh_!!4233523645-0-cib.jpg",
				"promotion_price": "23.00",
				"price": "23.00",
				"sales": 4000,
				"num_iid": "638347817559",
				"seller_nick": "即墨区尼高针织服装厂",
				"tag_percent": "20.8%",
				"area": "即墨市",
				"detail_url": "https://detail.1688.com/offer/638347817559.html"
			},
			{
				"title": "DN8548亚马逊热卖 欧美女装 跨境外贸夜店性感彩线透视长袖连体裤",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/2020/394/485/21944584493_1571372787.jpg",
				"promotion_price": "51.00",
				"price": "51.00",
				"sales": 10000,
				"num_iid": "629888122973",
				"seller_nick": "丰泽区菲妮娜服饰商行",
				"tag_percent": "55.6%",
				"area": "泉州市",
				"detail_url": "https://detail.1688.com/offer/629888122973.html"
			},
			{
				"title": "潮牌卫衣套装女装2021春季热销新款长袖衫宽松大码毛圈棉圆领上衣",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/2020/046/670/21215076640_842105506.jpg",
				"promotion_price": "20.00",
				"price": "20.00",
				"sales": 20000,
				"num_iid": "627477888926",
				"seller_nick": "深圳市福田区依克纯服饰商行",
				"tag_percent": "5.4%",
				"area": "深圳市",
				"detail_url": "https://detail.1688.com/offer/627477888926.html"
			}
		],

曹先森Caden
关注
  • 1
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 9
    评论
python爬虫1688一件代发电商工具（二）-抓取商品详情页价格库存运费信息（selenium）
02-09
根据商品id指定需要抓取的商品范围，抓取指定商品详情页价格、库存、运费信息，存入数据库作数据分析和参考 使用步骤： 1.搭建python环境，配置好环境变量 2.配置数据库环境，根据本地数据库连接修改alibaba.py中的数据库初始化参数 3.下载自己浏览器版本的浏览器驱动（webdriver），并将解压后的驱动放在python根目录下 4.执行database/DDL中的脚本进行数据库建表 5.将alibaba.py中itemids参数替换成自己需要抓取的商品id，找商品id的方法可参考url参数的规则 6.运行alibaba.py,开始需要手动滑动验证条验证，控制台和数据库观察结果 报错提示： 1.如果浏览器窗口能打开但没有访问url，报错退出，检查浏览器驱动的版本是否正确 2.代码中有红色波浪线，检查依赖包是否都安装完 3.程序运行中途报错，可能是出现滑动验证条导致页面捕捉不到元素，中途手动完成验证即可
1688、淘宝网站数据爬取（python实现）
08-21
网络爬虫1688、淘宝网站 auto_taobao.py 是使用 selenium 框架直接操纵浏览器进行数据爬取, 在该文件的27行的函数参数需要自己手动填写需要进行搜索的商品名称，填完之后运行即可自动爬取~ ./测试文件/requests_02.py 是使用 requests 框架进行数据的爬取，里面的 header 需要从自己的浏览器去复制粘贴过来
python爬虫1688API分享：1688商品详情数据采集、1688关键词搜索商品列表数据
最新发布
Api19970108018的博客
02-28 1544
商品API是1688 API中最常用的一个接口，它能够帮助企业获取1688上的商品信息，包括商品的价格、数量、规格、图片等等。可以获取到商品详情页上所有数据，包括宝贝ID、商品标题、商品简介、价格、原价、卖家昵称、宝贝链接、宝贝图片、品牌、品牌id、顶级分类ID、商品图片、邮费、快递费用、商品视频、商品SKU信息、商品规格信息列表、销售额、属性图片、详情图片列表。比如说，一个企业想要在自己的网站上展示来自1688的商品信息，就可以通过API接口，直接获取1688的商品数据，从而实现信息的更新和同步。
python 抓取1688店铺产品详情爬虫
06-09
python 抓取1688店铺产品详情，爬虫
python封装1688商品详情数据抓取
ecommerceAPI的博客
01-14 440
如果想抓取更多的商品详情数据，可以解析HTML内容，提取出需要的信息。具体的解析方式根据页面结构和需要抓取的数据而定。要封装1688商品详情数据抓取，可以使用Python的requests库或者Scrapy框架进行网络请求和数据抓取。1.请求方式：HTTP POSTGET;sales_data:&sales_data=1 获取近30天成交数据。函数并传入商品详情页的URL，可以获取到商品详情的HTML内容。参数说明：num_iid:1688商品ID （可替换）请求参数：num_iid=123456789。
Python简单爬取阿里巴巴商品信息
weixin_45869407的博客
07-17 3092
先码为敬 import requests import re def getHTMLText(url)://这里已经入门python爬虫的应该都知道了，这就是个爬取阿里商品全部信息的函数 try: r=requests.get(url,timeout=30) r.raise_for_status() r.encoding=r.apparent_encoding return r.text except: retu
爬虫系列之爬取1688
门柚的博客
07-28 2257
爬虫系列之爬取1688
用python写一个采集1688店铺的城市，名称、旺旺名称、账号id、产品服务、实力工厂、工厂网址信息，在程序中加入一些延时等策略，以免被封IP,并保存到.csv文件的完整爬虫程序
GY的的专栏
05-13 537
df = pd.DataFrame(data, columns=['城市', '名称', '旺旺名称', '账号id', '产品服务', '实力工厂', '工厂网址'])好的，这是一个比较复杂的爬虫程序，需要用到一些第三方库，比如requests、beautifulsoup4和pandas。4. 程序开始运行，会爬取前10页店铺信息，并保存到当前目录下的`shop_info.csv`文件中。2. 将上面的代码复制到一个.py文件中，比如：`shop_spider.py`。# 保存店铺信息到csv文件。
Python爬虫学习笔记：1688商品详情API 开发API接口文档
Jernnifer_mao的博客
07-17 1613
1688API接口是阿里巴巴集团推出的一种开放平台，提供了丰富的数据接口、转换工具以及开发资源，为开发者提供了通用的应用接口及大量数据资源，支持开发者在1688上进行商品搜索、订单管理、交易报表及物流等方面的操作。1688API接口主要包含以下几类：商品API：提供商品搜索、商品详情、商品发布等接口。订单API：提供订单查询、订单状态更新、订单创建等接口。物流API：提供物流信息查询、物流订单查询等接口。用户API：提供用户信息查询、用户认证等接口。数据API：提供交易报表、商品统计等接口。
阐述爬虫1688商品详情数据接口方法
Api19970108018的博客
01-24 691
发送网络请求并解析响应：使用编程语言中的HTTP请求库（如Python的requests库）发送构造好的请求URL，并获取到返回的响应内容。然后，根据接口返回的数据格式（如JSON、HTML等），使用相应的解析库（如Python的json库或BeautifulSoup库）对响应内容进行解析，提取所需的商品详情数据。处理分页数据：如果商品详情数据存在分页（如评价数据、图片列表等），可以根据分页规则构造相应的分页请求URL，并重复步骤4中的操作，直到获取完整的数据。参数说明：num_iid:1688商品ID。
小白学爬虫：通过关键词搜索1688商品列表数据接口|1688商品列表数据接口|1688商品列表数据采集|1688API接口
vx_15083607332的博客
11-07 1052
同时，通过搜索结果，用户还可以了解商品的详细信息，包括商品名称、价格、库存等，从而做出更明智的购买决策。通过获取到的商品列表数据，可以了解到商品的详细信息，包括商品名称、价格、库存等。总之，通过关键词搜索1688商品列表数据接口可以广泛应用于电商平台的商品信息管理、推荐、分析、决策、营销和竞争分析等方面，为用户和商家提供更加全面、准确、高效的解决方案。通过关键词搜索1688商品列表数据接口的用途主要是为了方便用户在1688平台上进行商品搜索，同时也可以帮助商家更好地管理和展示自己的商品。
Python爬虫-微信数据解析-实时获取聊天信息-信息采集系统 源码
04-25
- Python开发者:可以学习Python脚本编写和API的使用方法 使用场景及目标: - 信息提取:结合关键词提取聊天信息,获取用户提及的相关内容或信息 其他说明: - 支持过滤指定会话和消息类型,可以实现定向信息获取 - ...
python+vue实现网站爬虫&数据分析案例
04-19
python_spiders -- 爬虫后台项目 python_spiders_web -- 爬虫前台项目 运行环境 python 3.8.3 + nginx + mysql 项目技术(必填) Python 3.8.3 + flask + vue 2.6.11 + element-ui 2.13.1 + echarts + jquery 依赖包...
计算机毕业设计：Flask股票数据采集分析可视化系统 python+爬虫+金融数据
10-30
Flask股票数据采集分析可视化系统 python+爬虫+金融数据+毕业设计（附源码） 1、安装依赖 2、运行vivew.py文件 3、浏览器打开网页： http://127.0.0.1:5000/index 4、账号admins 密码admins 5、采集网站：雪球网...
Python数据分析网络爬虫学习
12-20
本实验目的为获取2020年04月北京空气质量指数日历史数据，并保存为csv文件。 HTTP请求-是指从客户端到服务器端的请求消息。包括：消息首行中，对资源的请求方法、资源的标识符及使用的协议。我们使用requests库来...
Python项目实例——用代理IP爬取1688商品
Fo*(Bi)的博客
08-19 432
拿取商品信息的名称： id = '自增ID' task_id = '任务ID' platform = '平台' search_key = '搜索词' goods_id = '商品ID' goods_title = '商品标题' goods_url = '商品链接' goods_brand = '商品品牌' goods_now_price = '商品优惠价' goods_old_price = '商品原价' month_sale_num = '30天销量' discount_info = '优惠券信息' pl
简单爬虫1688商品的主图和详情图
qq_39364586的博客
05-07 7482
1.首先下载安装python3（window系统） 2.cmd启动控制命令 3.输入python，出现 出现上图就是安装成功了。 4.输入exit()退出python命令 5.输入D:进入D盘，创建文件python文件 和储藏爬虫下来图片images文件 在python文件建立xiang.py文件 复制下面代码 import requests from PIL import ...
解密阿里巴巴加密技术： 爬虫JS逆向实践-1688 【JS混淆加密解析】
五包辣条的博客
11-04 6613
大家好，我是辣条。 这是爬虫系列的36篇，爬虫之路永无止境。 爬取目标 网站：阿里巴巴1688.com - 全球领先的采购批发平台,批发网 工具使用 开发工具：pycharm 开发环境：python3.7， Windows10 使用工具包：requests，urllib, time, re, execjs 重点学习的内容 JS混淆 正则表达式的使用 py执行js文件的应用 网页参数编码 页面分析 爬取:海量产地工厂，就上1688找工厂 .
利用Python爬虫爬取1688.com商品及其价格
qq_44417511的博客
12-24 6060
import urllib import xlwt from bs4 import BeautifulSoup import requests def writeExcel(ilt, name): if (name != ''): count = 0 workbook = xlwt.Workbook(encoding='utf-8') worksheet = workbook.add_sheet('temp') worksheet.
python爬虫可以采集什么网站
03-31
Python爬虫可以采集几乎所有类型的网站，包括但不限于： 1. 静态网站：静态网站指的是网站内容不会随时间、用户、地点等条件变化的网站，例如个人博客、新闻网站等。 2. 动态网站：动态网站指的是根据用户请求生成不同内容的网站，例如电商网站、社交网络等。 3. API接口：通过调用API接口，可以获取到网站提供的数据，例如天气预报、股票行情等。 4. 搜索引擎：通过搜索引擎可以获取到互联网上的各种信息。 需要注意的是，爬虫应该遵守网络爬虫规范，尊重网站的隐私和版权，不应该对网站造成不必要的负担或损害。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值