爬虫 页面元素变化_数据爬虫：AJAX与网页动态加载

很多了解R语言数据抓取的读者可能已经听说过rvest包。rvest包作为一款简单易用的R爬虫包，对静态网页的抓取非常适用。但对于有些会“动”的网页来说，rvest就不再有效了。

究其缘由，还是在于有些网页的HTML/HTTP基础架构在一个页面布局中静态地显示内容，但是如果用R函数来解析知乎首页，那么能通过这个首页实现抓取目的吗？答案当然是不能的。因为知乎URL是一个动态网站(DHTML)，具体表现就是从首页不断下拉，网页内容在不断变化但URL却一直都是https://www.zhihu.com/，或者是点击了某个地方内容也发生了变化，但地址栏中，URL依然没有变化。对这样的网页进行抓取就不能按照以前的简单套路操作。

网络技术实现从静态到动态转变的一个关键角色是汇总于AJAX这个术语下的一组技术。所谓AJAX，全称为异步JavaScript和XML(Asynchronous JavaScript and XML)，它是一组技术，不同的浏览器有自己的AJAX实现组件，有了AJAX技术之后，就不需要对整个网页进行刷新了，局部更新既不占用宽带又可以提高加载速度。比如说知乎首页，要看新内容，不断把网页下拉自动加载即可。

01

从HTML到DHTML

JavaScript号称最流行的Web编程脚本语言，我们不需要了解它的细节，因为这并不妨碍网络数据抓取的需要。前文提到过，HTML、CSS和JavaScript是前端技术的三驾马车，其中，JavaScript主要起到一些效果渲染的作用。要认识原生的JavaScript，重要的是了解其对于HTML的三种改进方法：

(1)以HTML