python爬虫教程（1）-爬虫的好处

欢迎来到python爬虫大讲堂，现在开始你的爬虫旅程吧！

爬虫

爬虫能自动从互联网上获取数据，通过这些数据，我们可以做很多事情。

比如说有一家电器售卖公司，为了生存下去，它需要实时了解对手的状况，改进自己的产品，然而我们不可能从对手的网站上进行一遍一遍的复制黏贴，且不说耗费时间之多，而且还极可能一不小心复制错一个数字或是一个数据，导致极大的错误，但网络爬虫就解决了这个问题。

我们可以通过网络爬虫大批量爬取数据，并进行数据分析，不止是了解对手，你还可以通过爬取数据了解你的客户的兴趣，甚至是你自己的公司，这样你就可以更好的改进自己，在金融领域有很大价值。

网络爬虫是否合法

虽然爬虫还属于开掘状态，但已经建立起了基础的协议，也就是robots.txt.协议

robots协议（爬虫协议）的全称是“网络爬虫排除标准”，网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

接下来你可以在baidu中搜索淘宝时，你会发现网站名下面有这么一小行字：

由于该网站的robots.txt文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容描述 - 了解详情

百度良好地遵守了淘宝网的robots.txt协议，所以你不能从baidu上搜索到淘宝内部的产品信息。

python爬虫的三个流程

接下来看看爬虫的三个流程：

获取网页 → 解析网页 → 存储数据

• 获取网页就是给一个网址发送请求，会返回整个网址的数据
• 解析网页就是从网页中提取你想要的数据
• 存储数据就是把你提取出的数据存储起来

下次我们将开始讲解爬虫的第一个步骤：获取网页

下次见！