这里直接爬取的是有道翻译。
第一步:利用requests库爬取有道翻译
有两种解决网站反爬的措施:
1、直接暴力破解有道翻译的salt,sign,ts,bv值。
2、修改url绕过反爬。
在有道页面按下F12并刷新,随便输入一句话进行翻译,可以在network项里面发现一个名为translate…什么的,打开其response项,可以发现我输入的话和翻译。
看headers里面的data:
可以看到 i 后面的就是你输入的东西,至于红圈里面的东西,就是网站反爬所用的。我这里只讲绕过反爬的url,如果想暴力破解的,可以参考这篇博客
然后就可以利用headers=header来模拟浏览器了。将这里面的request headers里面的内容全部复制一遍,并加上引号。