paqu动态网页踩过的坑

1.今天踩了一个大坑，之前以为获取到的代码与element不一样，是由于动态网页的缘故，实际上根本就没有获取到信息，网页反爬虫，访问不到

之后注意，用requests.get来获取信息的时候，输出一下状态码，200才为正常访问

2.对于动态网页概念上的理解，昨天paqu的豆瓣网也是一个动态网页，恰好运气好，没有直接去尝试获取element源码（一般静态网络爬取的套路就是在element中找自己想要获取的信息），而是在network中的XHR部分发现了subjects这个网页中的信息正是我想要的信息

其实自己并没有发现这是一个动态网络的坑，不能直接去获取网页源代码，源代码中会缺失我们想要的内容。

而我昨天操作的时候并没有直接去获取源代码，而是找到了network里面的xhr部分，而这部分恰恰就是动态网页不断更新的部分！！所以以后在处理paqu动态网络的信息时，要考虑这个方法！

之后去观察headers下面的请求url的变化规律，通过变化规律，来得到若干个网址，根据网址进行访问，从而获得其中的信息，这个方法特别简单！

记住：动态网页的源代码是一层不变的，而element的代码是会跟着交互动作进行更新的。

如何查看网页源代码呢？用ctrl+u来看，ctrl+f进行搜索

而我们经常使用的requests.get这个方法获得的代码就是网页源代码，是没有经过javascript处理过的部分，也就是一层不变的部分，如果要获取到变化更新的信息，就需要在network中的XHR/JS中去找。

a.使用ctrl+u看到的网页源代码  百度图片 - Bing images

b.代码requests.get得到的输出数据

c 对比已经加载了一部分新图片之后的element部分的末尾代码

结论：

已经通过百度图片网站验证了，普通的用request.get获取到的动态网页代码只是 ctrl+u得到的未经过js加工的代码（即是一层不变的，可以理解为去掉javascript之后的代码），而我们通过element查看到的代码是动态变化的，往往我们需要获取的信息也是这部分