Python爬虫小项目——实现英语翻译功能(一)

本次通过python爬取有道在线翻译实现一个有中英翻译功能的小项目

爬虫一般有两个用途,一个是用来爬取获得的网页中的数据(文字图片视频等),一个是用来伪装成真实用户向服务器发起请求,获取返回来的json数据,这两种用途的不同在于获得的数据不同,第一种获得的是一张网页,第二种获得的是json数据,获得的数据不同,对于数据的处理方式也不同,第一种可以用XPath等方法进行数据解析,第二种可以用request库中的json()函数进行处理

我个人认为,对于开发者来说,爬取网上的图片视频之类的资源是其次的,通过python爬虫伪装成用户去爬取别人的网站上的功能是最重要的,别人辛辛苦苦实现的这么强大的翻译功能通过python的爬虫功能简简单单就为自己所用,真的像是武侠里的吸功大法,由此可以看出python的强大

明确爬虫流程

一:确定需求

确定自己需要什么资源或者什么功能

二:寻找需求

找到拥有这些资源或者功能的网站

三:发送请求

模拟真实用户向网站发送请求,获取网站服务器返回来的数据(可能是一张网页或者是json数据)

四:解析数据

将上一步网站服务器返回来的数据进行分析,从中找出自己所需要的数据并提取出来

五:存储数据

将上一步提取出来的数据持久化,可以将数据保存在excel中或者数据库中等。。。。

下一篇文章:https://blog.csdn.net/qq_40131916/article/details/106938859

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页