python爬虫基础（三）爬虫基本原理

小人物

已于 2023-05-31 15:21:25 修改

阅读量414

点赞数 1

文章标签： python 爬虫

于 2023-05-28 21:37:21 首次发布

本文链接：https://blog.csdn.net/2303_77841383/article/details/130915074

版权

一、爬虫基本原理

我们可以把互联网比作一张大网，而爬虫便是在网上爬行的蜘蛛。把网的节点比作一个个网页，爬虫爬到就相当于访问该页面，获取了其信息。可以把节点间的连线比作网页与网页之间的链接关系，这样蜘蛛通过一个节点后继续爬行到下一个节点，即通过一个网页继续获取后续的网页，这样整个网的节点便可以被蜘蛛全部爬行到，网站的数据就可以被抓取下来了。

1.爬虫概述

爬虫就是获取网页并提取合并和保存信息的自动化程序

1.获取网页

获取网页即获取网页的源代码。我们可以用像urllib、requests等库来帮我们实现HTTP请求获取网页源代码的操作，得到响应后只需要解析数据结构中的body部分即可。

2.提取信息

最通用的方法就是采用正则表达式提取，这是一个万能方法，但在构造正则表达式时比较复杂且容易出错。

还有一些根据网页属性、CSS选择器或XPath来提取网页信息的库，如Beautiful Soup、pyquery、lxml等，使用这些库我们可以高效快速地从中提取网页信息，如节点的属性、文本值等。

提取信息可以使杂乱的数据变得条理清晰，以便我们后续处理和分析数据。

3.保存数据

提取信息后，我们一般会将提取到的数据保存到某处以便后续使用。如可以简单保存为TXT文本或JSON文本，也可以保存到数据库，如MySQL和MongoDB等，也可以保存至远程服务器，如借助SFTP进行操作等。

4.自动化程序

爬虫可以在抓取过程中进行各种异常处理、错误重试等操作。

2.能抓取到什么数据

最常抓取的是HTML源代码。也有可能是一个JSON字符串（其中API接口大多采用这样的方式），这种格式的数据方便传输和解析。

此外，还可以看到各种二进制数据，如图片、视频和音频等。利用爬虫，我们可以将这些二进制数据抓取下来，然后保存成对应的文件名。

另外，还可以看到各种扩展名的文件，如CSS、JavaScript和配置文件等。

上述内容其实都对应各自的URL，是基于HTTP或HTTPS协议i的，只要是这种数据，爬虫都可以抓取。

3.JavaScript渲染页面

有时候，我们在用urllib或requests抓取页面时，得到的源代码实际和浏览器中看到的不一样。

这是由于网页越来越多地采用Ajax、前端模块化工具来构建，整个网页可能都是由JavaScript渲染出来的，也就是说原始HTML代码就是一个空壳。如

<!DOCTYPE html>
<html>
<head>
<meta charset="UTF-8">
<title>This is a Demo</title>
</head>
<body>
<div id="container">
</div>
</body>
<script src="app.js"></script>
</html>

浏览器打开这个页面会执行app.js这个文件中的js代码，而js会改变HTML的节点，向其添加内容。而在使用urllib或requests等库请求当前页面时，我们得到的只是这个HTML代码，不会帮助我们加载这个js文件。

对此，我们可以分析其后台Ajax接口，也可以使用Selenium、Splash这样的库实现模拟js渲染。