利用python爬虫(案例8)--今天就是吃X我也要搞到有道

最新推荐文章于 2021-08-01 17:50:19 发布
最新推荐文章于 2021-08-01 17:50:19 发布
阅读量616 收藏 4
点赞数 6
分类专栏： python 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37422217/article/details/105666518
版权
本文记录了一次使用Python爬虫破解有道翻译接口的过程，包括熟悉抓包、解析FROM表单、使用requests.post方法进行网络请求，最终实现翻译结果的抓取。在抓包过程中，详细讲解了如何分析网络数据包，获取并重现关键参数。
摘要由CSDN通过智能技术生成

学习笔记
备注：这个Blog也是part14

爬取有道

写个案例，我想要破解有道翻译(http://fanyi.youdao.com/)接口，抓取翻译结果。

一开始，我还以为写这个不是很麻烦，因为2年前玩网爬的时候，最先写的小案例就是爬取翻译结果。但是现在，我重新写一遍，不知道为啥，研究了半天，心力交瘁，可能是人老了。

爬取步骤

①获取要爬取的有道翻译URL地址(http://fanyi.youdao.com/)

②在有道页面中翻译单词，抓取数据包

③查看，并解析FROM表单

④敲python代码，输入要翻译的内容，发送post请求

⑤得到翻译结果

熟悉抓包

在正式开始抓包之前，我们先熟悉一下怎么抓包

备注：抓包（packet capture）就是将网络传输发送与接收的

了解本专栏 订阅专栏 解锁全文 超级会员免费看
GUI Research Group
关注
专栏目录
订阅专栏
python爬虫实验报告_Python爬虫案例集合
weixin_39911916的博客
11-25 820
urllib2urllib2是Python中用来抓取网页的库，urllib2 是 Python2.7 自带的模块(不需要下载，导入即可使用)在python2.x里面有urllib和urllib2;在python3.x里面就把urllib和urllib2合成一个urllib;urllib3是在python3.x了里面新增的第三方扩展。urllib2 官方文档：https://docs.python....
有道翻译爬虫
12-25
python爬虫，有道翻译
有道词典爬虫
Joovo的博客
12-11 1830
文章目录有道词典爬虫代码实现 有道词典爬虫 构造url对单个单词的释义及例句进行爬虫。 查询界面不需要登陆操作，用 GET 方法获取源代码。 对于上图所示的单词查询界面，简单地对单词’scene’ 进行替换即可。 很久没有用xpath解析，有点生疏。 从审查元素可以看到每个例句都被<div class='ol'>包含 ，遍历他的子节点即可。 代码实现 import requests...
简单的有道翻译爬虫
abcque的专栏
03-22 330
# encoding: utf-8 import urllib.request import urllib.parse # 请求头 headers = { "Accept": "application/json, text/javascript, */*; q=0.01", #"Accept-Encoding": "gzip, deflate", "Accept-Language": ...
Python有道翻译爬虫，破解反爬虫机制，解决{"errorCode":50}错误
06-28 1701
一、引言 参考网址：https://tendcode.com/article/youdao-spider/ 当前成功时间：2019-6-28 本人使用环境： Python3.7 （Anaconda） IDE：PyCharm 系统：mac 二、具体操作 2.1 审查元素 （1）打开有...
有道翻译的爬虫学习案例
10-02
在这个“有道翻译的爬虫学习案例”中，我们将探讨如何利用网络爬虫技术抓取并分析有道翻译的数据，以获取有价值的信息。 首先，我们需要了解网络爬虫的基本原理。网络爬虫，又称网页蜘蛛或网络机器人，是一种自动化...
python百度翻译urllib_python爬虫入门--用urllib实现百度翻译-Go语言中文社区
weixin_29557457的博客
02-10 261
前言上一篇内容，已经学会了使用简单的语句对网页进行抓取。接下来，详细看下urlopen的两个重要参数url和data，学习如何发送数据data。我们想做一个百度翻译就需要向百度翻译的服务器发送我们想要翻译的内容。上一篇我们说过 urllib有几个默认的参数，出了几个默认的参数外 出了url 这次我需要用到一个dataurllib.request.urlopen(url, data=None, [t...
Python爬虫基础-01-带有请求参数的爬虫
热门推荐
CycloneKid的博客
06-06 1万+
在上一篇文章Python爬虫入门中，Python爬虫程序爬取了指定网页的信息，爬虫发出的请求是一个固定的URL和部分请求信息，并没有请求参数，但是爬虫工作过程中发出的请求一般都需要加上请求参数，以完成对指定内容的爬取 HTTP请求分为POST请求和GET请求，这两种请求添加请求参数的方式不同 GET请求 POST请求...
python 爬虫——有道翻译
weixin_42582241的博客
02-10 2198
一、网页解析 打开有道翻译官网： 通过F12，找到网络一栏，寻找”POST”请求，并在“消息头”下找到请求网址，即翻译的原网址 ： 观察“参数”一栏，在“数据表单”中找到了输入的字符串赋值给了参数“i”： 观察“响应”一栏，在“响应载荷”中找到了输出的字符串： 此处为字典格式，在代码分析中将对其进行解析。 在“消息头”的“请求头”中找到“User-Agent”： 不同设备对这一段的代码都不同，所以针对自己的设备，复制下这一段代码，用于后续代码编写，这是网站判断是否为爬虫的一个依据。 二、代码解析 u
有道词典在线翻译爬虫
shitou987的博客
04-04 786
1.打开有道在线翻译，并请求翻译 1.1获取翻译接口 1.2两次翻译数据对比 第一次 第二次 总结： 我们发现请求数据有差异： salt,ts,sign，并且可以看到i对应翻译词组 2.查找js处理逻辑 2.1查看对应js 2.2处理逻辑 2.3python处理 word = "test" import hashlib import time import random # var t ...
有道翻译爬虫（绕路版）
weixin_32693561的博客
04-26 879
这两天，学习了一下爬虫(简单的），然后在第三步学习爬取有道翻译的时候，绕了很大弯路，中间看了不少博客，可能也是一个看一个吧，的确从中学到了不少知识，但是也影响了最直接最简单的思维方式，在这里纪念一下。 一、urlopen的使用 先从最基本的入手，研究Request的使用 先看参数列表 url是必须填的，后面参数都有默认值 data这个是发送求请需要传递的参数。如果要传递data参数，urlopen将使用post方式请求。 timeout这个是求请超时时长。我们可以设置时长，如果请求时间过...
有道翻译 爬虫，分析反爬 附代码
weixin_44688530的博客
08-01 1406
有道翻译 爬虫，破解反爬加密0引言1对固定词条的翻译结果进行爬取功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 0引言 1、使用 python 语言，对 有道翻译 进行爬虫，对固定词条爬取翻译结果，并显示。 2、破解反爬，使得应用
有道翻译 爬虫 讲解 和 代码
hou9876543210的博客
06-07 615
好久没写过关于爬虫的的文章了 现在针对于爬虫大部分涉及到js 加密 我写一个简单的关于js问题 有道翻译 这涉及js简单的加密 现在我给大家简单简述 这个流程 如下图所示 图一中的 data中这几个字段 肯定猜想是加密了 然后 复制sign字段 找到js 相关代码 图二 中的方法 然后得到数据 断点调试 得到想要的猜想数据 … 代码如下： #!/usr/bin/python3.7 # -*- coding: utf-8 -*- # @Author : Monkey # @Software: PyC
通用格式的有道翻译爬虫
abcque的专栏
03-22 209
from urllib import request, parse import time import random import hashlib import zlib import gzip def get_salt(): ''' :return: ''' salt = int(time.time() * 1000) + random.randint...
网络爬虫之——有道翻译
qq_41375702的博客
03-08 291
from urllib.request import urlopen from urllib.parse import urlencode from json import loads from os import system while True: source=input('翻译内容:') url='http://fanyi.youdao.com/translate' data={ ...
最新有道翻译爬虫教程 （python爬虫）
QYmufeng的博客
11-14 1249
环境：python3 直接上代码：User-Agent 填自己的 #coding=utf-8 import requests import json from lxml import etree class YouDaoTranslateWeb: def __init__(self): self.url="http://www.youdao.com/w/eng/{...
有道翻译爬虫实践
weixin_42746060的博客
07-30 272
网址：https://fanyi.youdao.com/ Step1 打开网址，尝试翻译某内容 Step2 打开开发人员工具，观察请求如何完成 Fn+F12打开开发人员工具，出现右侧边栏，点击fetch/XHR,点击标头出现一系列的参数，说明了当我们在网页上面输入一个需要翻译的内容之后，后台如何完成一次完整请求，可以看到请求URL和请求方法为POST 图1 有道翻译界面 继续下滑之后看到表单数据一栏： 图2 有道翻译请求表单数据 解释一下表单各参数： i:热键，这里是因为我在尝试翻译内容
python 爬虫有道
最新发布
08-19
Python爬虫有道是一个利用Python编程语言来实现的自制有道翻译词典。通过使用Python的爬虫技术，可以获取用户输入的内容，并将其发送给有道翻译网站进行翻译。下面是一个利用Python爬虫实现有道翻译的示例代码： ```python import requests import json while True: word = input('请输入你要翻译的内容：') url = 'http://fanyi.youdao.com/translate' headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36'} data = { 'i': word, 'doctype': 'json', } response = requests.post(url, headers=headers, data=data) dict_str = json.loads(response.content.decode()) translation = dict_str['translateResult'][0][0]['tgt'] print(translation) if word == '1': break ``` 这段代码使用requests库向有道翻译网站发送POST请求，并传递了要翻译的内容。然后，解析返回的JSON数据，提取翻译结果，并将其打印出来。用户可以连续输入多个翻译内容，输入"1"结束程序的运行。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [教你用Python爬虫自制有道翻译词典](https://blog.csdn.net/xiaoxijinger/article/details/115369417)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [python爬虫实战之爬取有道翻译](https://blog.csdn.net/m0_62036306/article/details/121395333)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

GUI Research Group

谢谢支持！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值