爬虫-基础1 GlidedSky

GlidedSky 爬虫基础 1

爬虫的目标很简单，就是拿到想要的数据。这里有一个网站，里面有一些数字。任务是计算这些数字的总和。

待爬取网站

分析

我一般编写爬虫的流程：

1：检查 展现数据和原始数据是否一致。
2：寻找原始元素的位置。一般数据 会在 DOM文档中，json 文件中，js文件中，ws 等传输数据中。
3：直接发起请求，检查是否有反爬或者加密。
4：不能直接拿到数据，就使用 postman 完全模拟浏览器请求。
5：使用postman 完全模拟浏览器基本上都可以拿到数据的。
6：有加密就开始解密。 解密流程会复杂点。

1： 检查网页数据

检查 呈现数据和原始数据 是否一致。 如图所示：可以发现 呈现数据和原始数据一致。

2： 寻找原始数据文件。

寻找原始数据使用 ”搜索“。
按 ctrl + F 或者 ctrl + shift + f, 然后输入想要查找的数据。

2.1 首先是 sources

对于这个 例子，已经直接可以拿到原始数据。所以，也就没有必要找 JS， json， ws 等文件了。

3. 验证能否直接拿到数据

直接使用 requests 库来进行模拟。

import requests

url