关于爬虫中分析网页代码的一些感想

网页上所看见的内容，大部分是直接通过HTML代码展示出来的，我们可以直接获取网页的HTML代码，并在其中找到网页内容所对应的HTML代码。

但也有一部分网页内容不是直接通过HTML代码展示的，而是动态加载出来的，在我们访问网页时，网页HTML代码会调用JavaScript程序动态加载数据。

为什么要动态加载数据？

一大原因就是这些数据是经常变更的，所以这些数据是存在数据库中的，在访问网页时，网页就访问数据库，并将最新的数据展示在网页上。

因此，在使用爬虫时，为了判断网页上的内容究竟是静态的卸载HTML代码中，还是通过JavaScript程序动态加载出来的，我们就需要先获取网页的返回数据。

如果网页的内容可以直接在返回数据中找到，就说明这是静态加载的；如果不能，那就很有可能是程序动态加载的，当然，也不排除是你找错了。

像上图这样，我们找到了这个返回的文件，首先可以通过URL与实际网址完全相同，判断这个文件就是整个网页的返回数据。
然后，我们到response中去任意搜索一下我们需要的网页内容，看找不找得到，像下图这样。

如果通过搜索找不到网页内容，那么很大可能就是通过网页加载的，这个时候，我们就要再选择XHR标签，在里面找相关的程序返回记录。