爬虫概述
简单来说,爬虫就是获取网页并提取和保存信息的自动化程序。
获取网页
爬虫首先要做的工作就是获取网页,这里就是获取网页的源代码。
源代码里包含了网页的部分有用信息,所以只要把源代码获取下来,就可以从中提取想要的信息了。
我们知道浏览器向服务器发送一个请求,返回的响应体就是网页的源代码。所以,爬虫最关键部分就是构造一个请求并发送给服务器,然后接收到响应并将其解析出来,这个流程我们可以借助Python中的urllib、request等库来完成HTTP请求操作,请求和响应都可以用库提供的数据结构来表示,得到响应后只需要解析数据结构中Body部分即可,即得到网页的源代码。
提取信息
获取网页源代码后,接下来就是分析网页源代码,从中提取我们想要的数据。首先,最通用的方法就是采用正则表达式,这是一个万能的方法,但是不建议使用它来解析网页源代码,因为构造正则表达式时比较复杂而且还容易出错。
由于网页的结构有一定的规则,比如说某节点有着某属性、某样式,所以我们可以采用Beautiful Soup、lxml等第三方扩展库来高效地从中提取网页的信息,如节点的属性、文本值等。
保存数据
提取信息后,我们一般会将提取到的数据保存到某处以便后续使用。保存信息的形式有多种多样,比如我们可以简单的保存为TXT文本或者时JSON文本,也可以保存到关系型数据库或非关系型数据库,如MySQL和MongoDB等。
自动化程序
说到自动化程序,意思是说程序可以代替人来完成这些操作。当然我们手工也可以完成这些操作,但是当信息量特别大或者向快速获取大量数据的话,肯定还是要借助程序来帮我们完成。爬虫就是代替我们来完成这份工作的自动化程序,它可以在抓取的过程中进行各种异常处理、错误重试等操作,确保爬去持续高效地运行。
能抓取什么样的数据
在网页中我们能看到各种各样的信息,最常见的便是常规的网页,它们对应着HTML代码,而最常抓取的便是HTML源代码。
另外,可能有些网页返回的不是HTML代码,而是一个JSON字符串(其中API接口大多采用这样的形式),因为这种格式的数据方便传输和解析,同样可以抓取,这种数据提取更方便。
此外,我们还可以看到各种各样二进制数据,比如图片、音频等。利用爬虫,我们可以将这些二进制数据爬取下来,然后保存成对应的文件名。
另外,还可以看到各种各样扩展名的文件,如css、js等文件,这些其实也是最普通的文件,只要在浏览器里面可以访问到,就可以将其爬取下来。
JavaScript渲染页面
有时候,我们用urllib或request抓取网页时,得到的源代码实际和浏览器看到的不一样。
这是一个非常常见的问题,现在网页越来越多地采用Ajax、前端模块化工具来构建,比如vue等框架,采用Ajax、前端模块化工具来构建的网页有可能都是由JavaScript渲染出来的,也就是说原始的HTML代码是一个空壳。如图所示:
body节点里面只有一个id为app的节点,但是需要注意的是在body节点后引入了app.js,它便是负责整个网站的渲染。
在浏览器中打开这个页面时,首先会加载这个HTML内容,接着浏览器会发现其中引入了一个app.js文件,然后便会接着去请求这个文件,获取到该文件后,便会执行其中的JavaScript代码,而JavaScript则会改变HTML中的节点,向其添加内容,最后得到完整的页面。
但是在用urllib或request等库请求当前页面时,我们得到的只是这个HTML代码,它不会帮助我们去继续加载这个JavaScript文件,这样也就看不到浏览器中的内容了。
这也解释了为什么有时我们得到的源代码额浏览器中看到的不一样。
因此,使用基本HTTP请求库得到的源代码可能和浏览器中的页面不太一样。对于这样的情况,我们可以分析其后台Ajax接口,也可以使用Selenium、Splash这样的库来实现模拟JavaScript渲染。
参考文档
崔庆才老师的《Python3 网络爬虫开发实战》