有道翻译爬虫实践

最新推荐文章于 2024-05-03 17:31:27 发布
最新推荐文章于 2024-05-03 17:31:27 发布
阅读量272 收藏
点赞数
分类专栏： python爬虫新手学习 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42746060/article/details/119205729
版权
本文介绍了如何使用Python爬取有道翻译的过程。通过分析请求流程，发现有道翻译的旧API已失效，现在需要应对反反爬机制。文中提出了两种方案，一是建立反反爬机制访问新API地址，二是直接访问旧API地址，不处理反爬策略。
摘要由CSDN通过智能技术生成

网址：https://fanyi.youdao.com/

Step1 打开网址，尝试翻译某内容

Step2 打开开发人员工具，观察请求如何完成

Fn+F12打开开发人员工具，出现右侧边栏，点击fetch/XHR,点击标头出现一系列的参数，说明了当我们在网页上面输入一个需要翻译的内容之后，后台如何完成一次完整请求，可以看到请求URL和请求方法为POST

图1 有道翻译界面

继续下滑之后看到表单数据一栏：

最低0.47元/天 解锁文章
Qi Haiyan
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
有道翻译爬虫
heima201907的博客
01-03 277
有道翻译采用js加密的方式，阻碍我们使用代码进行翻译。分析发送请求时提交的Form Data，数据中的salt（盐）和sign（签名）是常见的js加密方式，salt是一个很长的随机串，是防止程序员使用字典反推（{明文：密文}--{密文：明文}）的形式破解加密方式（增加了原字符串的数量，使破解难以完成）。sign也是一种js加密方式。 sign的加密方式使用了md5加密算法，即消息摘...
python案例-Python爬虫案例集合
weixin_37988176的博客
10-29 534
urllib2urllib2是Python中用来抓取网页的库，urllib2 是 Python2.7 自带的模块(不需要下载，导入即可使用)在python2.x里面有urllib和urllib2;在python3.x里面就把urllib和urllib2合成一个urllib;urllib3是在python3.x了里面新增的第三方扩展。urllib2 官方文档：https://docs.python....
简单的有道翻译爬虫
abcque的专栏
03-22 328
# encoding: utf-8 import urllib.request import urllib.parse # 请求头 headers = { "Accept": "application/json, text/javascript, */*; q=0.01", #"Accept-Encoding": "gzip, deflate", "Accept-Language": ...
有道词典在线翻译爬虫
shitou987的博客
04-04 785
1.打开有道在线翻译，并请求翻译 1.1获取翻译接口 1.2两次翻译数据对比 第一次 第二次 总结： 我们发现请求数据有差异： salt,ts,sign，并且可以看到i对应翻译词组 2.查找js处理逻辑 2.1查看对应js 2.2处理逻辑 2.3python处理 word = "test" import hashlib import time import random # var t ...
有道翻译爬虫实战
Mr_Amnesia的博客
11-15 1172
文章目录写在前面准备工作工具知识点正文部分实地考察编写代码方法一方法二总结 写在前面    学习爬虫也有一段时间了，但始终感觉自己脑袋空空，好像会了不少，又好像啥也不会。后经高人指点，顿觉自己在学习方法上存在问题！遂决定以后把自己的所学、所见、所思完整的记录下来，既能做以后回顾之用，又能启发后来人，岂不妙哉。好了，废话不多说，让我们进入正题。 准备工作 工具 语言：万能的python 操作系统：windows7 IDE：pycharm 解释器：python 3.7.3 文本工具
有道翻译的爬虫学习案例
10-02
在这个“有道翻译的爬虫学习案例”中，我们将探讨如何利用网络爬虫技术抓取并分析有道翻译的数据，以获取有价值的信息。 首先，我们需要了解网络爬虫的基本原理。网络爬虫，又称网页蜘蛛或网络机器人，是一种自动化...
有道翻译Python爬虫（sign算法）
03-17
总的来说，通过理解和应用这个项目中的Python sign加密算法，开发者可以更有效地构建有道翻译API的爬虫，从而获取并处理大量的翻译数据，为数据分析、文本处理或其他自然语言处理任务提供支持。同时，这也是一种学习...
2024年Python最全Python 3爬虫实现有道翻译+GUI并打包成exe文件_将gui的(1)，2024年最新面试必问知识点及答案
最新发布
egregw的博客
05-03 416
🍅 硬核资料：关注即可领取PPT模板、简历模板、行业经典书籍PDF。🍅 技术互助：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。🍅 面试题库：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。🍅 知识体系：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化学习资料的朋友，可以戳这里获取。
基于python爬取有道翻译过程图解
09-17
总的来说，Python爬虫结合有道翻译API，可以实现自动化翻译功能。理解HTTP请求的原理，熟悉requests库的使用，以及掌握URL编码和解码的方法，都是实现这一目标的关键步骤。在实际应用中，我们还需要考虑反爬机制、...
有道翻译-爬虫
HKO
10-29 437
在我们进行爬虫操作的时候，网站为了防止自己的服务器不要那么被频繁访问或者保护自己的数据信息不被别人获取，通常会采用一系列的反爬虫的操作。 1、验证UserAgent 2、验证Cookie 3、查看Referer跳转信息 4、js提交信息加密 一、开始有道翻译，右键审查元素，并选择Netword 二、在有道网页中输入要翻译的内容，然后检查netword下面的每一条URL信息。我们会找到提交信息的U...
有道爬虫翻译
二月鸟
01-06 1035
Python爬虫实例：自制翻译机 一起试试爬取有道翻译自制翻译器吧ლ(＾ω＾ლ) ，自己动手做个翻译器吧，一点都不难哦～ 用post和json，短短几行（或者说二十几行）就可以做到！ 要求实现功能：用户输入英文或中文，程序即可打印出来对应的译文。 实现一键翻译的功能，最简单的方案便是爬虫。在此，我们选择的网站是有道翻译：http://fanyi.youdao.com/ 然后还是那套熟悉的流程：F1...
爬虫——有道翻译
qq_44619675的博客
02-23 313
1、爬取地址 http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule 2、爬取页 3、代码 import requests # 封装翻译的函数 def fanyi(kw): # 定义请求的url url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule' # 定义请求的参数 data
爬虫 有道翻译
weixin_45576204的博客
09-09 993
```python import hashlib import time import random import requests headers={ 'Cookie': 'OUTFOX_SEARCH_USER_ID=-2006006658@10.108.160.17; OUTFOX_SEARCH_USER_ID_NCOO=637053778.397833; UM_distinctid=174569dbd3e165-064df79033d73e-f7b1332-144000-174569dbd.
爬虫—有道翻译
weixin_43726170的博客
06-21 1075
’’’ 目标：爬取有道翻译数据 作用：在本地进行翻译，并将所用单词与翻译保存于本地文件夹 推荐：基础学习者 ‘’' import requests,time,hashlib #导入所需模块，hashlib为md5加密所需模块 def youdao(susu): #data上传需要修改的数据 salt = int(time.time()*10000) ts = salt//10 value =“fa...
爬虫有道翻译
hao_1314_wen的博客
09-04 388
import urllib.request import urllib.parse req = urllib.request.Request('http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule') data = {} data['action'] = 'FY_BY_CLICKBUTTION' da...
有道翻译爬虫（绕路版）
weixin_32693561的博客
04-26 871
这两天，学习了一下爬虫(简单的），然后在第三步学习爬取有道翻译的时候，绕了很大弯路，中间看了不少博客，可能也是一个看一个吧，的确从中学到了不少知识，但是也影响了最直接最简单的思维方式，在这里纪念一下。 一、urlopen的使用 先从最基本的入手，研究Request的使用 先看参数列表 url是必须填的，后面参数都有默认值 data这个是发送求请需要传递的参数。如果要传递data参数，urlopen将使用post方式请求。 timeout这个是求请超时时长。我们可以设置时长，如果请求时间过...
python爬虫有道翻译
09-15
Python爬虫有道翻译是一种使用Python编程语言编写的程序，通过向有道翻译网站发送请求，获取翻译结果的过程。通常，使用Python中的requests库发送HTTP请求，将需要翻译的内容作为参数传递给有道翻译网站，并通过解析...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值