python爬虫爬取js生成的页面_爬虫之抓取js生成的数据

有很多页面，当我们用request发送请求，返回的内容里面并没有页面上显示的数据，主要有两种情况，一是通过ajax异步发送请求，得到响应把数据放入页面中，对于这种情况，我们可以查看关于ajax的请求，然后分析ajax请求路径和响应，拿到想要的数据；另外一种就是js动态加载得到的数据，然后放入页面中。这两种情况下，对于用户利用浏览器访问时，都不会发现有什么异常，会迅速的得到完整页面。

其实我们之前学过一个selenium模块，通过操纵浏览器，然后拿到浏览器显示出来的数据，这种方式是可以拿到数据的，但本节是要分析如何找到那个js在控制数据的生成，及js发送请求的路径，从而我们可以向这个路径发送请求，直接就得到数据。

在之前的爬虫过程中，我最烦的就是关于js动态生成的数据，我根本无法找到是哪一个js实现的（因为js太多了），今天看了大佬的博客，瞬间感觉简单了很多，谢谢大佬，祭出大佬的博客：https://www.cnblogs.com/bobo-zhang/p/10561617.html

一、需求描述及页面分析

1，需求描述

基础页面路径：https://www.xuexi.cn/f997e76a890b0e5a053c57b19f468436/018d244441062d8916dd472a4c6a0a0b.html