本次通过python爬取有道在线翻译实现一个有中英翻译功能的小项目
爬虫一般有两个用途,一个是用来爬取获得的网页中的数据(文字图片视频等),一个是用来伪装成真实用户向服务器发起请求,获取返回来的json数据,这两种用途的不同在于获得的数据不同,第一种获得的是一张网页,第二种获得的是json数据,获得的数据不同,对于数据的处理方式也不同,第一种可以用XPath等方法进行数据解析,第二种可以用request库中的json()函数进行处理
我个人认为,对于开发者来说,爬取网上的图片视频之类的资源是其次的,通过python爬虫伪装成用户去爬取别人的网站上的功能是最重要的,别人辛辛苦苦实现的这么强大的翻译功能通过python的爬虫功能简简单单就为自己所用,真的像是武侠里的吸功大法,由此可以看出python的强大
明确爬虫流程
一:确定需求
确定自己需要什么资源或者什么功能
二:寻找需求
找到拥有这些资源或者功能的网站
三:发送请求
模拟真实用户向网站发送请求,获取网站服务器返回来的数据(可能是一张网页或者是json数据)
四:解析数据
将上一步网站服务器返回来的数据进行分析,从中找出自己所需要的数据并提取出来
五:存储数据
将上一步提取出来的数据持久化,可以将数据保存在excel中或者数据库中等。。。。
下一篇文章:https://blog.csdn.net/qq_40131916/article/details/106938859