爬虫的基本原理

一、爬虫概述

爬虫就是获取网页并提取和保存信息的自动化程序。

1.获取网页

爬虫的工作首先是获取网页， 源代码里包含网页的部分有用信息，所以只要获取源代码，就可以从中提取想要的信息。

2.提取信息

获取网页的源代码后，接下来就是分析源代码，从中提取我们想要的数据。（最通用的提取方法是采用正则表达式。）

 3.保存数据

提取信息后，我们一般会将提取到的数据保存到某处以便后续使用。保存数据的形式多种多样，可以简单保存为TXT文本或JSON文本，也可以保存到数据库，如MySQL和MongoDB等。

4.自动化程序

自动化程序的意思是爬虫可以代替人来完成上述操作。我们当然可以手动提取网页中的信息，但是当量特别大或者想快速获取大量数据的时候，肯定还是借助程序快。

二、爬虫能爬怎样的数据

网页中存在各种各样的信息，最常见的便是常规网页；另外，有些网页返回的不是HTML代码，而是一个JSON字符串（其中API接口大多采用这样的形式），这种格式的数据方便传输和解析；另外网页中还包含各种二进制数据，如图片、视频和音频等，还有各种扩展名文件，如CSS、JavaScript和配置文件等。