马蜂窝数据爬取

最近,针对马蜂窝网站数据进行了爬取,主要有个人资料,游记,图片等信息。

问题一:马蜂窝网站加速乐问题解决,正常第一次访问会返回一段js ,如下图,这个时候你如果不是专业的js开发者的话,简单的方式就是把前后的script标签去掉。然后在最前面价格function,再把代码的后个eval替换成return,控制台执行的话,会返回下一个js,

 返回的js类似于,下面带红框的部分

 再次提取js中的函数,修改后为

最后为获取的值,拼接__jsl_clearance参数,当然如果上述js文本中带有浏览器信息的话,类似于下图蓝色框内的话,可直接把参数写死,红色框内部分示例

 为此。加速乐破解完成

问题二,ip问题,这里的话,注意的是ip和cookie是绑定的,一个ip获取的cookie,必须用这个ip请求,我这里用的是阿布云代理经典版失效的话切换

最后附上难点代码,我这里因为先把用户的链接下载到redis,根据社区,群组爬用户连接,所以执行测代码可以先手动取链接测试,记得修改阿布云的代理!谢谢

 

  • 2
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值