使用代理及微信客户端,进行微信公众号文章抓取的方案
起始begin的网址为https://mp.weixin.qq.com/beginSpider 代理服务器访问begin begin并不是真实存在的,所以会返回404或者是空白页等 此时进入anyProxy的beforeSendResponse回调,发现请求地址beginSpider是一个开始抓取的信号,所以调用服务端接口,获取第一个公众号首页的链接 后端服务器返回第一个公众号首页...
原创
2018-11-26 15:30:03 ·
1879 阅读 ·
0 评论