python网络数据采集-Ajax和动态HTML

第一部分：基本概念

       到目前为止，我们与网站服务器的唯一通讯方式，就是发出HTTP请求获取新页面。如果提交表单之后，或从服务器获取信息之后，网站的页面不需要重新刷新，那么你访问的网站就在使用Ajax技术。

       与一些人的印象不大一样，Ajax其实并不是一门语言，而是用来完成网络任务（可以认为它与网络数据采集差不多）的一系列技术。Ajax的全称为Asynchronous JavaScript and XML（异步JavaScript和XML），网站不需要使用单独的页面请求就可以与网络服务器进行交互（收发信息）。需要注意的是：你不应该说“这个网站时Ajax写的”。正确的说法应该是“这个表单用Ajax与网络服务器通信”。

       和Ajax一样，动态HTML(dynamic HTML,DHTML)也是一系列用于解决网络问题的技术集合。DHTML使用客户端语言改变页面的HTML元素（HTML,CSS,或者二者皆被改变）。比如，页面上的按钮只有当用户移动鼠标之后才会出现，背景色可能每次点击都会改变，或者用一个Ajax请求触发页面加载一段新内容。

       有时你还会发现，网页用一个加载页面把你引到另一个页面上，但是网页的URL链接在这个过程中一直没有变化。如果你采集过很多网站，很有可能遇到这样一种情况。你在浏览器上看到的内容，与你用爬虫从网站上采集的内容不一样。你可能会怀疑自己是不是哪个细节没处理好，希望找出内容采集不出来的原因。这些都是因为你的爬虫不能执行那些让页面产生各种神奇效果的JavaScript代码。如果网站的HTML页面没有运行JavaScript，就可能和你的浏览器里看到的样子完全不同，因为浏览器可以正确执行JavaScript。

       那些使用了Ajax或者DHTML技术改变/加载内容的页面，可能有一些采集手段，但是用Python解决了这个问题只有两种途径：直接从