2.3 爬虫的基本原理

2.3.1 爬虫概述

爬虫就是获取网页并提取和保存信息的自动化程序

一般有4个步骤：

1. 获取网页
2. 提起信息
3. 保存数据
4. 自动化程序

1. 获取网页
获取网页就是获取网页的源代码。

源代码里面包含了网页的部分有用信息，只要把源代码获取下来，就能从中提取有用信息。

Python提供了许多库来帮助我们实现这个功能，如urllib,requests等。

2. 提取信息
最常用的方法是采用正则表达式进行提取。

但是在构造正则表达式时比较复杂且容易出错。

另外，，由于网页的结构有一定的规则，所以还有一些根据网页节点属性、CSS选择器、或XPath来提取网页信息的库。

3. 保存数据
提取信息后，一般会将提取到的数据保存到某处以便后续使用。

如可以保存为TXT文本或JSON文本，也可以保存到数据库，如MySQL和MongoDB等，也可以保存至远程服务器，如借助SFTP进行操作。

4. 自动化程序
爬虫就是代替我们来完成这份爬取工作的自动化程序，它可以在抓取过程中进行各种异常处理，错误重试等操作，确保爬取持续高效地运行。

2.3.2 能抓怎样的数据

• HTML源代码
• JSON字符串
• 各种二进制数据，如图片、视频、音频等
• 各种拓展名的文件，如CSS，JavaScript和配置文件

上述内容都对应各自的URL，基于HTTP或HTTP协议，只要是这种数据，爬虫都可以抓取。

2.3.3 JavaScript渲染页面

有时候，在用urllib或requests抓取页面时，得到的源代码实际和浏览器看到的不一样。

这是因为现在网页越来越多的采用Ajax、前端模块化工具来构建，整个网页可能都是由JavaScript渲染出来的，原来的HTML代码就是一个空壳。

但是使用urllib或requests等库请求当前页面时，得到的只是这个HTML代码，它不会帮助我们加载JavaScript文件，这样就看不到浏览器中的内容了。