爬取有道借口，传参进行翻译

最新推荐文章于 2021-04-16 21:58:29 发布
最新推荐文章于 2021-04-16 21:58:29 发布
阅读量194 收藏
点赞数
分类专栏： requests 文章标签： 爬取有道
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39928840/article/details/81136827
版权

人嘛，就是有时候想浪一下，比如程序员，本来好好的程序不用，非得自己搞一个，我就犯了这毛病了，下边就是我爬取有道接口传参进行翻译，代码如下：

这里写图片描述

喜欢浪的一起浪吧

习风的博客
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Python应用】爬取有道翻译API，自制翻译工具（Python爬虫：反爬破解）
蔡智杰の乐园地
03-24 850
有道翻译官网：http://fanyi.youdao.com/ 分析网站 打开网页，F12找到translate这个XHR文件中存在主要信息，找到最后的From Data（数据的来源，如何获取的，最后调用翻译） 对于这两组数据，不知道是什么？（虽然bv也不知道是什么，不过好像对项目没有直接的影响）看到sign可能是一个十六进制的数据，通过找到fanyi.min.js（别问我怎么知道是这个...
python爬虫实战之爬取有道翻译
m0_62036306的博客
11-18 6106
文章目录介绍网页分析代码实战 当我们学习python爬虫时我们需要做大量的练习，往后我会发布更多的python爬虫练习实战代码，进一步剖析爬虫的每一个细节 介绍 本次爬取的是有道翻译，利用python爬虫程序向有道翻译发起请求，获取翻译结果 网页分析 下面我们将走进有道翻译网页分析 开发者模式可以通过f12或者单击鼠标右键找到检查打开 有道翻译 当我们进入网页以后，会出现两个框，1是输入，2是翻译结果，由于有道翻译他是自动识别我们输入的内容，也就是说我们每往输入框输入一个字符他就会发起一次请求，具体分析请
有道词典翻译（携带请求头和post参数请求）
weixin_30815469的博客
02-22 571
一、静态爬取页面信息 有道翻译网址：http://fanyi.youdao.com/ 在翻译中输入python 找到接口和请求的方式 参数是From Data类型 需要把参数数据转换为字典， 复制粘贴后按住Ctrl + r ，然后 Headers 内容的长度是data携带参数的长度 代码实现 分析：红色圈住的，是会根据要翻译的内容变化而变化 ...
【Python爬虫笔记】有道翻译POST请求获取结果
weixin_43326874的博客
07-06 654
使用Python来对有道翻译的结果进行获取，首先进入有道在线翻译首页，F12进入开发者模式。随便翻译一个词语，找到Form Data的部分，这便是我们翻译时提交的数据。 将内容复制后，并且封装为字典（其中key为想要翻译的关键词）： formdata = { "i": key, "from": "AUTO", "to": "AUTO", "smartresult": "dict", "client": "fanyideskweb", "salt": "159
利用urllib.urlopen向有道翻译发送数据获得翻译结果
weixin_30678349的博客
07-05 87
from urllib import request,parseimport requests, sys,ssl,jsonssl._create_default_https_context = ssl._create_unverified_contextif __name__=="__main__": # 对应上图的Request URL request_url = "http://f...
Python爬取有道翻译
热门推荐
Fortuna_的博客
05-16 1万+
转载自https://blog.csdn.net/nunchakushuang/article/details/75294947一、正常的爬虫流程：如果你要爬取他的翻译接口，这个流程还是不能少的。首先我们打开有道翻译的链接：http://fanyi.youdao.com/。然后在页面中右键->检查->Network项。这时候就来到了网络监听窗口，以后你在这个页面中发送的所有网络请求，都...
python爬取有道翻译的代码_python爬取有道翻译
weixin_39928736的博客
11-21 76
1.准备工作先来到有道在线翻译的界面http://fanyi.youdao.com/F12 审查元素 ->选Network一栏，然后F5刷新 （如果看不到Method一栏，右键Name栏，选中Method）输入文字自动翻译后发现Method一栏有GET还有POST；GET是指从服务器请求和获得数据，POST是向指定服务器提交被处理的数据、随便打开一个POST，找到preview可以看到我们输入的“...
爬虫实践:爬取有道翻译(附带UI界面)
m0_54260276的博客
04-16 1905
1.爬取分析 实现一键翻译功能，最简单的方案当然是我们的爬虫啦，这里，我选择的是 有道翻译 这个页面，在左边输入文字，那么浏览器会把你输入的信息传输给服务器。再返回对应的内容。这就是一个典型的Post操作。我们可以在XHR中查看数据的传送方式 reques url 就是我们要请求的网址 fromdata里面就是我们要提交的数据 i:需要翻译的内容 from:翻译内容的语言 to:翻译成什么语言 所以可以通过改变from/to，来实现不同语言之间的翻译，而后面的salt，sign，its目前还看不懂，
python爬取有道词典_利用Python3和Charles爬取有道词典
weixin_39785150的博客
11-21 255
一.用Charles爬取数据Charles是一个多平台的抓包工具，可以很方便的抓取http和https数据。1.抓取数据抓取数据前我们首先要清楚，由于有道词典的翻译使用的是post请求，所以我们要抓取的信息有：url链接、request headers（请求头）、format data（数据表单，也即请求体request body）a)打开Charles，选择Proxy选项卡中的macOS Pro...
基于python爬取有道翻译过程图解
09-17
以下是一个简单的Python代码示例，展示了如何使用requests库进行有道翻译的爬取： ```python import requests from urllib.parse import urlencode url = '...
Python爬虫爬取有道实现翻译功能
01-19
获取有道翻译的链接url 需要发送的参数在form data里 示例 import urllib.request import urllib.parse url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule' data = {} data['i'] =...
selenium爬取有道翻译结果
06-25
通过selenium模拟浏览器爬取有道翻译结果，此资源仅供学习用途，当前selenium都是基于无头模式的chrome浏览器进行爬虫抓取，
Python爬虫实现简单的爬取有道翻译功能示例
09-20
主要介绍了Python爬虫实现简单的爬取有道翻译功能,结合实例形式分析了Python基于urllib库实现的爬虫爬取有道翻译相关定义与数据交互功能操作技巧,需要的朋友可以参考下
爬有道翻译 利用python（selenium）爬取有道翻译英语单词音标
最新发布
05-20
利用python（selenium）爬取有道翻译英语单词音标 适合python初学者 网页爬虫示例 os库 import os secket库 import socket selenium库 webdriver对象 网页元素查询练
爬取数据保存至mysql数据库
qq_39928840的博客
07-25 6019
做爬虫，免不了将抓取下来的数据保存到数据库，但是如何保存到数据库呢，下面我通过我工作中抓取的一个网站来展示，代码有点多，但是逻辑很简单，此例是将标题连接保存在了mysql中，先看看网站是什么样子： 下边这个图是页码 网站是这个样子，我在代码中有个判断，就是判断链接是否有三个，分别执行不同操作，就是根据图中标记来的 此次请求是get请求，不需要传参，只需要重新拼接url进行翻页即可 ...
使用requests抓取天眼查信息
qq_39928840的博客
08-03 2695
大家在抓取的过程中，肯定遇见过有些内容需要在登陆之后才能抓取的，上一篇中为大家带来了使用selenium抓取天眼查保存到excel.但是selenium效率慢的怀疑人生，今天呢，为大家带来的是使用requests抓取天眼查，很简单，说一下headers部分，携带的cookis是已经登陆过的，重点是在浏览器中将登陆过的headers请求头复制下来，然后找对链接请求传参就行了。好了，话不多说，由于比较...
使用requests+re+xlwt将爬下来的数据保存在excel中
qq_39928840的博客
07-22 1227
在平时的工作中，大家可能会遇见这么一种情况，就是领导让你从一个网站抓点数据，但是呢，他又不懂编程，那么如何让领导很直观的看懂咱们抓下来的数据呢？今天呢，给大家分享一个很使用的操作，就是直接抓取数据保存到Excel中，以腾讯课堂为例，链接为 https://ke.qq.com/course/list?mt=1001&st=2002&tt=3019&page= 首先咱们先来...
requests爬取联合国采购网站
qq_39928840的博客
07-20 435
这是第一次写博客文章，内心有点小激动呢！接下来给大家分享一下我在工作中爬取最多的网站，www.ungm.org ，联合国采购网站，听起来是不是很高大上呢？话不多说，进入正题... 1.首先明确一下要抓取的内容，因为我想要的数据是每天都会更新，所以今天就抓取昨天的，以此类推。上图 2.接下来就是分析了 打开f12进行调试，发现如下：我们想要的数据都在Search中， 3，然后我们点击...
scrapy框架爬取有道翻译
10-21
Scrapy是一个强大的Python开源网络爬虫框架，可以用来快速、高效地爬取网页信息。下面我将以使用Scrapy框架爬取有道翻译为例，简要介绍如何进行爬取。 首先，我们需要创建一个Scrapy项目。打开命令行工具，输入以下命令： scrapy startproject youdao_translate 这将在当前目录下创建一个名为"youdao_translate"的Scrapy项目。接下来，进入项目目录并创建一个名为"translator"的爬虫，命令如下： cd youdao_translate scrapy genspider translator www.youdao.com 这将在项目目录下的spiders文件夹中生成一个名为"translator.py"的文件，我们可以在文件中编写爬虫代码。 打开"translator.py"文件，我们需要设置爬虫的起始URL和解析方法。首先，在文件的开头添加以下代码： start_urls = ['http://www.youdao.com/'] 然后，找到"def parse(self, response):"这一行，在该方法中编写解析页面的代码，如下所示： def parse(self, response): result = response.xpath('//div[@id="inputTranslation"]/ul/li/text()').extract_first() yield { 'translation': result, } 在这个示例中，我们使用XPath语法来提取翻译结果所在的标签，并将结果存储在一个字典中。通过使用yield关键字，我们将字典作为爬取结果返回。 接下来，保存文件并返回命令行工具。在命令行中输入以下命令即可启动爬虫： scrapy crawl translator Scrapy将会开始爬取并显示爬取过程的日志信息。当爬取完成后，结果将保存在默认的JSON文件中，您可以在项目目录下找到该文件。 以上就是使用Scrapy框架爬取有道翻译的简要流程。当然，具体的爬取过程可能因网站的结构和数据布局而有所不同，您可以根据实际情况进行调整和改进。希望对您有所帮助！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值