首先要懂得什么是动态网页:今天初级的学习了一下
静态网页直接查看html页面,数据都在页面上
-
什么是动态网页:元素动态加载,异步XHR或者通过js加载
-
动态网页的分析方法
1. 网络请求分析/js分析
1. 优点:性能高,结构清晰
2. 缺点:复杂,多变,对前端要求高
2. selenium分析
1. 优点:简单
2. 缺点:性能低
性能要求高、不缺钱的情况下选择网络分析。其余选择selenium -
动态网页的目的
1. 为了使得前后端分离(当你F12看到的HTML里面的一些数据,但是查看网页源代码的时候你发现那个数据没有了。所以这个数据可能是异步或者通过js加载的)
2. 提高性能,这样有些数据不是你可以随便拿到的
3. 反爬:将异步加载代码混淆和加密最后就是selenium的headless和不加载图片