什么是Ajax渲染的网页
这是篇文章是看了崔庆才大佬的爬虫文章写出来的,为了防止自己半途而废而作。
有时候我们在抓取网页的时候,会发现request返回的数据和我们在浏览器页面看的不一样,在浏览器可以看到的图片和文章在返回的结果中并没有,这时候就可以考虑这是不是一个Ajax渲染的网页了。具体来讲就是在进行数据加载时,原始的网页数据可能并不包含最终看到的全部数据,,当原始的页面数据加载完后,会再想浏览器请求某个接口获取数据,然后数据再进行处理加载在界面上,这就是发送了一个Ajax请求。如下列作者的微博为例:
可见初始的数据中并没有我们想要的微博内容,图片等。
可以看到这里在XHR这一个选项卡中出现了许多条目,打开一个看到我们关心的数据都在这里。这就是一个Ajax渲染的网页。Ajax渲染的网页有一个很大的好处就是但我们相要更新页面的数据时,我们没必要刷新整个页面,只需要再通过页面向服务器请求一个.json数据然后在解析利用javascript插入到对应的位置就可以改变页面了,典型的例子就是一直下拉网页一直出现新的内容。