用python爬取有道翻译遇到反爬,3分钟反反爬绕过其反爬

在这里插入图片描述

利用有道翻译的接口,自制一个翻译程序

查看其翻译接口,发现post请求需要传很多参数,而且经过测验,satl,sigh属于动态生成的,遇到这种问题怎么办?当然有时间的情况下,可以去研究这些参数在哪个响应中返回,或者怎么构造,但是一般在工作中我们可能需求来了,不会有过多的时间去考虑这些反爬怎么处理,那么该怎么办?

下面就讲如何3分钟绕过其反爬,获取翻译结果

这里写图片描述

切换到手机端模式,精神一震,post参数只需要传2个,比PC端接口简单多了

这里写图片描述

尝试用该接口,因为是手机端,我们需要加手机端代理,测试了简单的词语,在响应中发现有返回的结果,id=translateResult,正是我们需要提取的结果

这里写图片描述

接下来,开始愉快的写xpath了,并简单测试了些句子,也完美翻译成功

这里写图片描述

本文主要讲一种爬取思路,很多情况下,我们爬PC端爬的多了,只要爬就首先想到爬PC端的,结果一根筋走下去,遇到很多反爬,所以当我们遇到反爬时候,不防试试手机网页或者手机APP,说不定就有新的收获,也减少了工作量,并且会简单高效

  • 1
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值