爬虫
Ken6666
爬虫爱好者.Python相关开发者
展开
-
淘宝模拟请求的坑
前言最近在搞淘宝模拟请求,上次把请求的加密参数搞定,所以接着把整个流程搞完.坑sign坑sign中签名参数c.data千万不能用json序列化.因为签名的顺序是固定的,用json将字典序列化后是顺序是随机的.page坑page=1请求在url中是字符串,page=2请求在url中是数字.真是巨坑,调试了好久.cookie坑没有登录时,只能获取page=1的商品数据.无法获...原创 2020-04-01 11:52:31 · 4137 阅读 · 6 评论 -
pyexecjs执行js报错:Unterminated regular expression literal '/'
前言在执行js文件的时候,execjs报了这个错.解决一般出现这个错误都是转义问题,在js文件中多添加一个\转移符就好了.a = a.replace(/\r\n/g, "\n");改为a = a.replace(/\\r\\n/g, "\\n");...原创 2020-03-25 11:02:18 · 7661 阅读 · 0 评论 -
淘宝店铺商品全量爬取
场景1.获取淘宝某个店铺下商品价格和销量逆向思路分析1.在店铺首页点击宝贝栏目,打开调试,发现 https://h5api.m.taobao.com/h5/mtop.taobao.wsearch.appsearch/1.0/这个接口.返回json数据格式,里面包含了商品价格和销量.2.再仔细看接口,发现做了加密jsv: 2.5.1appKey: 12574478t: 15851...原创 2020-03-25 10:44:01 · 3194 阅读 · 2 评论