python爬虫实战之爬取有道翻译

最新推荐文章于 2024-08-06 11:55:39 发布

print-null

最新推荐文章于 2024-08-06 11:55:39 发布

阅读量6.1k

点赞数 5

分类专栏：笔记爬虫实战专栏文章标签： python 爬虫开发语言

本文链接：https://blog.csdn.net/m0_62036306/article/details/121395333

版权

本文介绍如何使用Python爬虫获取有道翻译的结果。通过分析有道翻译网页的网络请求，发现每次输入都会发起请求，关键参数是'i'和'doctype'。在响应中，'tgt'是翻译结果，'src'是原文。文章提供了代码实战，通过动态传入待翻译内容，实现翻译功能。并推荐了一个学习社区，鼓励读者加入一起学习。

摘要由CSDN通过智能技术生成

当我们学习python爬虫时我们需要做大量的练习，往后我会发布更多的python爬虫练习实战代码，进一步剖析爬虫的每一个细节

介绍

本次爬取的是有道翻译，利用python爬虫程序向有道翻译发起请求，获取翻译结果

网页分析

下面我们将走进有道翻译网页分析
开发者模式可以通过f12或者单击鼠标右键找到检查打开
有道翻译
在这里插入图片描述
当我们进入网页以后，会出现两个框，1是输入，2是翻译结果，由于有道翻译他是自动识别我们输入的内容，也就是说我们每往输入框输入一个字符他就会发起一次请求，具体分析请看如下

在这里插入图片描述
可以看到我们一共有三次请求，每往输入框输入一个就会发起一次，我们可以看到打开开发者模式以后我们选择network或者网络，就会看到无数请求然后选择xhr下面就会出现我们提交的表单数据以及请求链接等
这就是我们发起请求的url
在这里插入图片描述

2号箭头就是我们要找到的，我们将从2号箭头开始分析，i就是我们输入的需要翻译的数据，doctype说明他是json类型，后面他和i一起被当为表单数据一起发起请求，这两个参数是我们本次爬虫的关键
接下来我们看下图
在这里插入图片描述
找到respones然后就会出现以下数据

{“translateResult”:[[{“tgt”:“The dictionary”,“src”:“字典”}]],“errorCode”:0,“type”:“zh-CHS2en”,“smartResult”:{“entries”:["",“dictionaries\r\n”],“type”:1}}

我们把这些复制下来打开json工具
json工具
json工具