利用 Python 爬虫采集 1688商品详情关键词数据-API

已于 2023-05-04 11:45:14 修改
阅读量4.7k 收藏 16
点赞数 3
文章标签： java phonegap
于 2023-05-04 11:08:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2303_76945341/article/details/130482501
版权

要利用 Python 爬虫采集 1688 商品详情数据，需要先了解 1688 网站的页面结构和数据请求方式。一般使用 requests 库请求网站的数据，使用 BeautifulSoup 库解析网页中的数据。

以下是一个简单的 Python 爬虫采集 1688 商品详情数据的示例代码：

import requests
from bs4 import BeautifulSoup

url = 'https://detail.1688.com/offer/XXXXXXXXXX.html'   # 替换为要采集的商品链接
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)

soup = BeautifulSoup(response.content, 'html.parser')

# 获取商品标题
title = soup.find('h1', {'class': 'd-title'}).text.strip()

# 获取商品价格
price = soup.find('span', {'class': 'price-tag-text-sku'}).text.strip()

# 获取商品详细描述
description = soup.find('div', {'class': 'obj-leading'}).text.strip()

# 获取商品图片
images = []
for img in soup.find_all('img', {'class': 'desc-lazyload'}):
    images.append(img.get('src'))

# 获取商品规格参数
params = {}
for key, value in zip(soup.select('.name'), soup.select('.value')):
    params[key.text.strip()] = value.text.strip()

上述代码可以获取商品的标题、价格、详细描述、图片链接和规格参数等信息。需要注意的是，实际的网页结构可能会有所变化，因此需要根据实际情况对代码进行适当修改。

另外，针对 1688 网站的数据爬取，可以使用一些专门的爬虫工具，如 Octoparse、Import.io 等，这些工具可以通过简单的设置和操作，获取大量商品信息并导出到 Excel、CSV 等格式的文件中，为电商运营和数据分析带来了很大的便利。

根据关键词在淘宝 1688 拼多多京东等电商平台上搜索商品，并将商品的商品 ID，商品 url 等页面上有的信息抓取下来。

首先，我们打开首页，输入关键词：女装 新款

 

点击通过测试关键字搜索商品以下↓↓↓

1688.item_search

公共参数

名称类型必须描述
keyString是调用key（获取Key和secret）
secretString是调用密钥
api_nameString是API接口名称（包括在请求地址中）[item_search,item_get,item_search_shop等]
cacheString否[yes,no]默认yes，将调用缓存的数据，速度比较快
result_typeString否[json,jsonu,xml,serialize,var_export]返回数据格式，默认为json，jsonu输出的内容中文可以直接阅读
langString否[cn,en,ru]翻译语言，默认cn简体中文
versionString否API版本

响应示例

{
	"items": {
		"page": "1",
		"real_total_results": 1900,
		"total_results": 1900,
		"page_size": 19,
		"pagecount": 100,
		"item": [
			{
				"title": "2019 wish 跨境秋季欧美爆板女装连衣裙 修身显瘦长款花朵吊带裙",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/2020/636/393/14247393636_846235425.jpg",
				"promotion_price": "17.00",
				"price": "17.00",
				"sales": 7000,
				"num_iid": "45566582412",
				"seller_nick": "广州伊霏凡服饰有限公司",
				"tag_percent": "58.6%",
				"area": "广州市",
				"detail_url": "https://detail.1688.com/offer/45566582412.html"
			},
			{
				"title": "连衣裙女2021春夏新款系带泡泡袖显瘦收腰碎花短裙外贸女装批发",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/2020/854/650/22828056458_1179464981.jpg",
				"promotion_price": "17.00",
				"price": "17.00",
				"sales": 140000,
				"num_iid": "631485240015",
				"seller_nick": "普宁市燎原五笔蟹服装厂",
				"tag_percent": "25.5%",
				"area": "普宁市",
				"detail_url": "https://detail.1688.com/offer/631485240015.html"
			},
			{
				"title": "跨境电商ebay热卖欧美女装性感手工钩织流苏休闲套装泳装罩衫 5星",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/2020/875/994/16281499578_212653647.jpg",
				"promotion_price": "50.00",
				"price": "50.00",
				"sales": 5000,
				"num_iid": "619158432168",
				"seller_nick": "泉州市众思创进出口贸易有限公司",
				"tag_percent": "52%",
				"area": "晋江市",
				"detail_url": "https://detail.1688.com/offer/619158432168.html"
			},
			{
				"title": "2021亚马逊跨境欧美春夏女装亚马逊宽松纯色印花无袖休闲套装现货",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/O1CN01KeBeft1fDgDqEAbLX_!!1795473973-0-cib.jpg",
				"promotion_price": "42.00",
				"price": "42.00",
				"sales": 50000,
				"num_iid": "635637669426",
				"seller_nick": "秦新喜",
				"tag_percent": "50.7%",
				"area": "广州市",
				"detail_url": "https://detail.1688.com/offer/635637669426.html"
			},
			{
				"title": "2021欧美春夏女装亚马逊独立站wish新品女透明网纱印花性感两件套",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/O1CN01jErYe826CIe9HUGim_!!6000000007625-0-cib.jpg",
				"promotion_price": "37.00",
				"price": "37.00",
				"sales": 20000,
				"num_iid": "635021107526",
				"seller_nick": "厦门锦之涵服饰有限公司",
				"tag_percent": "40.9%",
				"area": "广州市",
				"detail_url": "https://detail.1688.com/offer/635021107526.html"
			},
			{
				"title": "实拍韩国2021夏季新款女装韩版宽松几何印花短袖T恤女豹纹休闲裤",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/O1CN01vVsWfj222u4XacESW_!!2206515787063-0-cib.jpg",
				"promotion_price": "34.30",
				"price": "34.30",
				"sales": 4000,
				"num_iid": "637815988990",
				"seller_nick": "息县韩依时代女装服装批发店",
				"tag_percent": "6.4%",
				"area": "广州市",
				"detail_url": "https://detail.1688.com/offer/637815988990.html"
			},
			{
				"title": "欧美风2020秋冬女装新款性感修身小背心高腰包臀阔腿裤休闲套装女",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/2020/282/083/21871380282_1453572700.jpg",
				"promotion_price": "59.90",
				"price": "59.90",
				"sales": 9000,
				"num_iid": "629900610899",
				"seller_nick": "广州市依米尔服饰有限公司",
				"tag_percent": "40%",
				"area": "广州市",
				"detail_url": "https://detail.1688.com/offer/629900610899.html"
			},
			{
				"title": "连衣裙女2021春夏新款女装长袖小碎花中长款打底裙两件套现货",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/2020/902/061/23571160209_11863035.jpg",
				"promotion_price": "35.00",
				"price": "35.00",
				"sales": 60,
				"num_iid": "634431267098",
				"seller_nick": "东莞市韩寇服饰有限公司",
				"tag_percent": "26.3%",
				"area": "东莞市",
				"detail_url": "https://detail.1688.com/offer/634431267098.html"
			},
			{
				"title": "X3897跨境新品速卖通亚马逊wish时尚欧美休闲女装针织无袖连体裤",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/2020/621/724/23478427126_892403295.jpg",
				"promotion_price": "36.00",
				"price": "36.00",
				"sales": 3000,
				"num_iid": "633528105461",
				"seller_nick": "广州市馨衣竹服饰有限公司",
				"tag_percent": "52.5%",
				"area": "广州市",
				"detail_url": "https://detail.1688.com/offer/633528105461.html"
			},
			{
				"title": "现货 A8327 欧美女装 2021 春夏纯色多色长袖短裤运动休闲套装",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/O1CN01wT5fne1OR6Myiyev6_!!4019511701-0-cib.jpg",
				"promotion_price": "40.00",
				"price": "40.00",
				"sales": 3000,
				"num_iid": "638597250778",
				"seller_nick": "深圳市宝安区黛安娜服饰商行",
				"tag_percent": "51.4%",
				"area": "广州市",
				"detail_url": "https://detail.1688.com/offer/638597250778.html"
			},
			{
				"title": "2021年毛衣女网红韩版女装春季短袖t恤女秋中袖打底针织衫泡泡袖",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/O1CN01j8ugIs1a2caa5B5wM_!!3249173272-0-cib.jpg",
				"promotion_price": "26.00",
				"price": "26.00",
				"sales": 40000,
				"num_iid": "638033144991",
				"seller_nick": "东莞市大朗千其时装厂",
				"tag_percent": "13.3%",
				"area": "东莞市",
				"detail_url": "https://detail.1688.com/offer/638033144991.html"
			},
			{
				"title": "S936欧美女装时尚印花比基尼绑带罩衫三件套连衣裙",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/O1CN01iCuTMR1D7tzQjEA9t_!!2209219760170-0-cib.jpg",
				"promotion_price": "44.00",
				"price": "44.00",
				"sales": 4000,
				"num_iid": "638197893788",
				"seller_nick": "丰泽区晟晴服饰商行",
				"tag_percent": "51.2%",
				"area": "泉州市",
				"detail_url": "https://detail.1688.com/offer/638197893788.html"
			},
			{
				"title": "2020亚马逊秋季爆款女装礼服 欧美跨境单肩披肩连体裤一件代发",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/2020/811/548/15617845118_1268699109.jpg",
				"promotion_price": "57.00",
				"price": "57.00",
				"sales": 5000,
				"num_iid": "569999372751",
				"seller_nick": "深圳市龙岗区嫚姿秀服装厂",
				"tag_percent": "45.1%",
				"area": "深圳市",
				"detail_url": "https://detail.1688.com/offer/569999372751.html"
			},
			{
				"title": null,
				"pic_url": null,
				"promotion_price": null,
				"price": null,
				"sales": null,
				"num_iid": null,
				"seller_nick": null,
				"tag_percent": null,
				"area": null,
				"detail_url": "https://detail.1688.com/offer/.html"
			},
			{
				"title": "运动套装女2021春秋新款韩版字母大码女装显瘦立领运动套装两件套",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/2020/681/734/21112437186_208991165.jpg",
				"promotion_price": "90.00",
				"price": "90.00",
				"sales": 130000,
				"num_iid": "625750406348",
				"seller_nick": "厦门比尔百姿时装有限公司",
				"tag_percent": "11.9%",
				"area": "厦门市",
				"detail_url": "https://detail.1688.com/offer/625750406348.html"
			},
			{
				"title": "欧美爆品2021春新款女装长袖后背交叉绑带露脐木耳边T恤短裙套装",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/2020/954/267/18484762459_879671070.jpg",
				"promotion_price": "34.80",
				"price": "34.80",
				"sales": 10000,
				"num_iid": "624048587609",
				"seller_nick": "广州简翰服装贸易有限公司",
				"tag_percent": "32.3%",
				"area": "广州市",
				"detail_url": "https://detail.1688.com/offer/624048587609.html"
			},
			{
				"title": "新品9色冰瓷棉短袖t恤女春夏2021日系圆领修身打底衫直播ins女装",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/O1CN01yFlidp1cnSJzO7gIh_!!4233523645-0-cib.jpg",
				"promotion_price": "23.00",
				"price": "23.00",
				"sales": 4000,
				"num_iid": "638347817559",
				"seller_nick": "即墨区尼高针织服装厂",
				"tag_percent": "20.8%",
				"area": "即墨市",
				"detail_url": "https://detail.1688.com/offer/638347817559.html"
			},
			{
				"title": "DN8548亚马逊热卖 欧美女装 跨境外贸夜店性感彩线透视长袖连体裤",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/2020/394/485/21944584493_1571372787.jpg",
				"promotion_price": "51.00",
				"price": "51.00",
				"sales": 10000,
				"num_iid": "629888122973",
				"seller_nick": "丰泽区菲妮娜服饰商行",
				"tag_percent": "55.6%",
				"area": "泉州市",
				"detail_url": "https://detail.1688.com/offer/629888122973.html"
			},
			{
				"title": "潮牌卫衣套装女装2021春季热销新款长袖衫宽松大码毛圈棉圆领上衣",
				"pic_url": "https://cbu01.alicdn.com/img/ibank/2020/046/670/21215076640_842105506.jpg",
				"promotion_price": "20.00",
				"price": "20.00",
				"sales": 20000,
				"num_iid": "627477888926",
				"seller_nick": "深圳市福田区依克纯服饰商行",
				"tag_percent": "5.4%",
				"area": "深圳市",
				"detail_url": "https://detail.1688.com/offer/627477888926.html"
			}
		],

曹先森Caden
关注
python爬虫，如何抓取网页数据
06-23
python爬虫，如何抓取网页数据； python爬虫，如何抓取网页数据； python爬虫，如何抓取网页数据； python爬虫，如何抓取网页数据； python爬虫，如何抓取网页数据； python爬虫，如何抓取网页数据； python爬虫，如何抓取网页数据； python爬虫，如何抓取网页数据； python爬虫，如何抓取网页数据； python爬虫，如何抓取网页数据； python爬虫，如何抓取网页数据； python爬虫，如何抓取网页数据； python爬虫，如何抓取网页数据； python爬虫，如何抓取网页数据； python爬虫，如何抓取网页数据； python爬虫，如何抓取网页数据； python爬虫，如何抓取网页数据； python爬虫，如何抓取网页数据； python爬虫，如何抓取网页数据； python爬虫，如何抓取网页数据； python爬虫，如何抓取网页数据； python爬虫，如何抓取网页数据； python爬虫，如何抓取网页数据； python爬虫，如何抓取网页数据； python爬虫，如何抓取网页数据； python爬虫，如何抓取网页数据； python
1688爬虫，通过搜索关键词采用selenium爬取指定页数的商品信息.zip
03-01
爬虫（Web Crawler）是一种自动化程序，用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的HTML内容。这通常通过HTTP请求库实现，如Python中的Requests库。 解析内容： 爬虫对获取的HTML进行解析，提取有用的信息。常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据，如文本、图片、链接等。 数据存储： 爬虫将提取的数据存储到数据库、文件或其他存储介质中，以备后续分析或展示。常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则： 为避免对网站造成过大负担或触发反爬虫机制，爬虫需要遵守网站的robots.txt协议，限制访问频率和深度，并模拟人类访问行为，如设置User-Agent。 反爬虫应对： 由于爬虫的存在，一些网站采取了反爬虫措施，如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等。然而，使用爬虫需要遵守法律和伦理规范，尊重网站的使用政策，并确保对被访问网站的服务器负责。
利用 Python 爬虫采集 1688商品详情
2401_87195067的博客
10-05 2840
1688是中国的一个大型B2B电子商务平台，主要用于批发和采购各种商品。最后，无论是使用API、爬虫还是第三方数据服务商，都需要对采集到的数据进行适当的处理和清洗，以确保数据的质量和可用性。sales_data:&sales_data=1 获取近30天成交数据。agent:&agent=1 获取1688分销代发价格数据。请求参数：num_iid=610947572360。参数说明：num_iid:1688商品ID。请求示例，API接口接入Anzexi58。
使用Python获取1688商品详情的教程
wbryze的博客
06-25 1043
1688是中国领先的B2B电子商务平台，提供海量的商品信息。指导你如何使用Python来获取这些商品的详细信息。
python 抓取1688店铺产品详情爬虫
06-09
python 抓取1688店铺产品详情，爬虫
1688商品信息一键抓取：利用API批量获取价格、标题、图片与库存数据
sa10027的博客
04-06 1244
在数字化快速发展的今天，电商平台的数据抓取与分析已成为商业运营的重要一环。1688作为国内领先的B2B电商平台，其商品信息的获取对于众多商家而言具有极高的价值。本文将详细叙述如何利用API实现1688商品信息的一键抓取，包括价格、标题、图片以及库存数据的批量获取过程。调用API时，需要设置相应的请求参数，以便获取所需的商品信息。根据1688开放平台提供的API文档，可以了解到每个参数的具体含义和格式要求。要利用API获取1688商品信息，首先需要在1688开放平台注册账号，并申请API访问权限。
python + selenium +pyquery 爬虫 爬取 1688详情图片 阿里巴巴详情图片 与标题 下载图片并进行压缩 仅供学习交流使用 .zip
08-17
python + selenium +pyquery 爬虫 爬取 1688详情图片 阿里巴巴详情图片 与标题 下载图片并进行压缩 仅供学习交流使用
利用Python爬虫爬取1688.com商品及其价格
qq_44417511的博客
12-24 6418
import urllib import xlwt from bs4 import BeautifulSoup import requests def writeExcel(ilt, name): if (name != ''): count = 0 workbook = xlwt.Workbook(encoding='utf-8') worksheet = workbook.add_sheet('temp') worksheet.
爬虫笔记4-爬取1688根据搜索关键词的产品信息和价格汇总excel分析
weixin_42978994的博客
07-31 294
2、整体不复杂，分析了页面发现详情页的内容不是json返回的，而是在原网页页面中以类似json的字符串形式出现，所以用到了正则提取；最后，根据以上代码只需要输入：keyword和total的内容，也就是你要搜索的内容和要获取多少个。1、平时都是挨个点进去每个收集效率太低；
数据采集课设报告（网络爬虫-Python，Kafka与MySQL的组合使用-Java）
12-28
在这个项目中，Kafka被用作中间件，接收由Python爬虫获取的数据。学生首先读取MySQL中的student表数据，将其转化为JSON格式，然后发送到Kafka。这里展示了Kafka的生产者角色，它负责生产消息并发送到Kafka主题。 ...
1688、淘宝网站数据爬取（python实现）
08-21
网络爬虫1688、淘宝网站 auto_taobao.py 是使用 selenium 框架直接操纵浏览器进行数据爬取, 在该文件的27行的函数参数需要自己手动填写需要进行搜索的商品名称，填完之后运行即可自动爬取~ ./测试文件/requests_02.py 是使用 requests 框架进行数据的爬取，里面的 header 需要从自己的浏览器去复制粘贴过来
Python爬虫-微信数据解析-实时获取聊天信息-信息采集系统 源码
04-25
- Python开发者:可以学习Python脚本编写和API的使用方法 使用场景及目标: - 信息提取:结合关键词提取聊天信息,获取用户提及的相关内容或信息 其他说明: - 支持过滤指定会话和消息类型,可以实现定向信息获取 - ...
完整版精品Python网络爬虫教程 数据采集 信息提取课程 12-实例4-股票数据定向Scrapy爬虫（共23页）.pptx
11-13
Scrapy是一个强大的Python爬虫框架，适合处理大规模、多页面的爬取任务。课程中会介绍Scrapy的原理、基本使用和项目结构，包括Spider的创建、ITEM Pipelines的编写。在Scrapy项目中，我们通常需要创建一个...
API接口调用，获取淘宝天猫，拼多多，1688等平台商品详情，python采集爬虫数据
api_Anzexi的博客
09-19 1283
api网络爬虫数据
草根学爬虫：通过商品ID获取1688商品详情数据接口|1688商品详情数据接口|1688商品详情数据采集接口|1688API接口
weixin_19970108018的博客
11-06 1630
通过获取到的商品详情数据，可以进行商品信息的采集和分析，有助于快速准确地获取最新的商品信息，并做出决策。例如，可以获取商品的名称、图片、价格、库存、属性、描述、评价、销量等信息，以及进行商品分类和SKU管理等。总之，通过商品ID获取1688商品详情数据接口可以广泛应用于电商平台的商品信息管理、推荐、分析、决策、营销和竞争分析等方面，为用户和商家提供更加全面、准确、高效的解决方案。通过商品ID获取1688商品详情数据接口的用途主要是为了方便用户快速获取商品信息，提高工作效率和准确性。
1688商品链接获取1688商品详情数据接口（用 Python实现拼1688商品信息抓取）
weixin_19970108018的博客
10-10 870
在网页抓取方面，可以使用 Python、Java 等编程语言编写程序，通过模拟 HTTP 请求，获取1688网站上的商品页面。值得注意的是，1688网站的页面结构会不断更新，因此需要定期更新程序，以保证数据的准确性。根据需要，调用相应的商品接口，如批量查询商品详情、批量查询商品分类等。（2）避免被封 IP。（1）保证数据的准确性。1688平台上的商品信息会不断更新，因此需要定期更新程序，以保证数据的准确性。解析接口返回的数据：1688接口返回的数据通常为JSON格式，需要对其进行解析并提取所需字段。
如何用python爬取https://toutiao.1688.com/
liaower的博客
11-12 374
如何用python爬取https://toutiao.1688.com/
爬取1688商品数据并导出为CSV文件
最新发布
m0_73690216的博客
10-10 320
在这篇文章中，我将向你展示如何使用Python的DrissionPage库来爬取1688网站上的商品数据，并将这些数据导出为CSV文件。DrissionPage是一个结合了Selenium和Requests库优点的库，它允许我们以更高效的方式进行网页数据的抓取。关键代码提取想要的字段，这里需要注意的是，我怎么去拿浏览器中对应数据的信息。自动化库的好处就是模拟人的行为进行操作。关键代码这里没有采取抓包。
python爬虫可以采集什么网站
03-31
Python爬虫可以采集几乎所有类型的网站，包括但不限于： 1. 静态网站：静态网站指的是网站内容不会随时间、用户、地点等条件变化的网站，例如个人博客、新闻网站等。 2. 动态网站：动态网站指的是根据用户请求生成不同内容的网站，例如电商网站、社交网络等。 3. API接口：通过调用API接口，可以获取到网站提供的数据，例如天气预报、股票行情等。 4. 搜索引擎：通过搜索引擎可以获取到互联网上的各种信息。 需要注意的是，爬虫应该遵守网络爬虫规范，尊重网站的隐私和版权，不应该对网站造成不必要的负担或损害。
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值