2.3.1 爬虫概述
爬虫就是获取网页并提取和保存信息的自动化程序
一般有4个步骤:
- 获取网页
- 提起信息
- 保存数据
- 自动化程序
1. 获取网页
获取网页就是获取网页的源代码。
源代码里面包含了网页的部分有用信息,只要把源代码获取下来,就能从中提取有用信息。
Python提供了许多库来帮助我们实现这个功能,如urllib,requests等。
2. 提取信息
最常用的方法是采用正则表达式进行提取。
但是在构造正则表达式时比较复杂且容易出错。
另外,,由于网页的结构有一定的规则,所以还有一些根据网页节点属性、CSS选择器、或XPath来提取网页信息的库。
3. 保存数据
提取信息后,一般会将提取到的数据保存到某处以便后续使用。
如可以保存为TXT文本或JSON文本,也可以保存到数据库,如MySQL和MongoDB等,也可以保存至远程服务器,如借助SFTP进行操作。
4. 自动化程序
爬虫就是代替我们来完成这份爬取工作的自动化程序,它可以在抓取过程中进行各种异常处理,错误重试等操作,确保爬取持续高效地运行。
2.3.2 能抓怎样的数据
- HTML源代码
- JSON字符串
- 各种二进制数据,如图片、视频、音频等
- 各种拓展名的文件,如CSS,JavaScript和配置文件
上述内容都对应各自的URL,基于HTTP或HTTP协议,只要是这种数据,爬虫都可以抓取。
2.3.3 JavaScript渲染页面
有时候,在用urllib或requests抓取页面时,得到的源代码实际和浏览器看到的不一样。
这是因为现在网页越来越多的采用Ajax、前端模块化工具来构建,整个网页可能都是由JavaScript渲染出来的,原来的HTML代码就是一个空壳。
但是使用urllib或requests等库请求当前页面时,得到的只是这个HTML代码,它不会帮助我们加载JavaScript文件,这样就看不到浏览器中的内容了。