Fiddle++node JS逆向+request （采集APP必用）」||主流电商APP原数据采集接口

Fiddler是一个蛮好用的抓包工具，可以将网络传输发送与接受的数据包进行截获、重发、编辑、转存等操作。

我们在采集某个app时候，一般是先用Fiddler抓包 找到这个app请求这个数据时候调取的是后台的那个接口地址，找到这个地址和请求的参数然后再模拟request。今年在处理快手、抖音的粉丝、评价、商品店铺销量时候就用到了Fiddle。

某些APP 和网站的参数是通过js加密的，比如商标网、裁判文书网、抖音快手等这些。

您如果需要请求它的源api地址就地逆向解析破解这些加密参数，可以使用node解析混淆函数。因为平时需要经常采集一些app，所以和Fiddler打交道的比较多。

前面主要是对网站和APP 数据采集和解析的一些方法，其实对这种网站爬虫技术说无非就解决三个问题：首先是封IP问题，您可以自建代理IP池解决这个问题的，第二个问题就是验证码问题，这个问题可以通过python的图像识别技术来解决或者是您直接调取第三方的打码平台解决。第三问题就是需要会员账号登录后才看到的数据，这个很简单直接用cookie池解决。

---

主流电商APP原数据采集接口

京东获得JD商品详情原数据 API 返回值说明

item_get_app-获得JD商品详情原数据 [查看演示] API注册测试

jd.item_get_app

公共参数

名称	类型	必须	描述
key	String	是	调用key（必须以GET方式拼接在URL中）
secret	String	是	调用密钥
api_name	String	是	API接口名称（包括在请求地址中）[item_search,item_get,item_search_shop等]
cache	String	否	[yes,no]默认yes，将调用缓存的数据，速度比较快
result_type	String	否	[json,jsonu,xml,serialize,var_export]返回数据格式，默认为json，jsonu输出的内容中文可以直接阅读
lang	String	否	[cn,en,ru]翻译语言，默认cn简体中文
version	String	否	API版本

请求参数

请求参数：num_iid=10335871600

参数说明：item_id:商品ID

响应参数

Version: Date:

名称	类型	必须	示例值	描述
items	item[]	0		获得京东app商品详情原数据

 

item_get_app-获得淘宝app商品详情原数据 

taobao.item_get_app

公共参数

名称	类型	必须	描述
key	String	是	调用key（必须以GET方式拼接在URL中）
secret	String	是	调用密钥
api_name	String	是	API接口名称（包括在请求地址中）[item_search,item_get,item_search_shop等]
cache	String	否	[yes,no]默认yes，将调用缓存的数据，速度比较快
result_type	String	否	[json,jsonu,xml,serialize,var_export]返回数据格式，默认为json，jsonu输出的内容中文可以直接阅读
lang	String	否	[cn,en,ru]翻译语言，默认cn简体中文
version	String	否	API版本

请求参数

请求参数：num_iid=520813250866

参数说明：num_iid:淘宝商品ID

响应参数

Version: Date:

名称	类型	必须	示例值	描述
item	Mix	0		获得淘宝app商品详情原数据

 它提供数据采集浏览器、网络解锁器、数据采集托管IDE三种方式，能通过简单的几十行Python代码实现复杂网络数据的采集，对于反爬、验证码、动态网页等进行自动化处理，完全不需要你操心。