python 爬虫 博客园_Python爬虫爬取博客园作业

分析一下他们的代码，我在浏览器中对应位置右键，然后点击检查元素，可以找到对应部分的代码。但是，直接查看当前网页的源码发现，里面并没有对应的代码。我猜测这里是根据服务器上的数据动态生成的这部分代码，所以我们需要找到数据文件，以便向服务器申请，得到这部分资源。

在刚才查看元素的地方接着找数据文件，在Network里面的文件中很顺利的就找到了，并在报文中拿到了URL和请求方法。

查看一下这个文件发现是JSON文件，那样的话难度就又降低了，因为Python中有json库，解析json的能力很强。可以直接将json转换为字典和列表类型。

在这里我简单介绍一下数据解析的过程吧。首先，我将爬取到的json文本转换成某种数据类型，具体由数据决定，一般不是字典就是列表。查看类型发现是字典，且字典中有三个key值，而我们需要的key在一个叫data的key中。

而data中的数据是一个学生信息的列表类型，列表的每个元素都是一个字典，包括学生姓名，学号等信息。可以利用下标获取列表元素，并用key值得到你想拿到的信息。比如，利用Url得到网页链接。

这时候我们爬取需要的信息的准备工作可以说是结束了，我们拿到了数据的URL，并且知道了数据类型和数据结构。于是，我们只需要用requests库