java 爬虫教程 ajax_爬虫—Ajax数据爬取

一、什么是Ajax

有时候我们使用浏览器查看页面正常显示的数据与使用requests抓取页面得到的数据不一致，这是因为requests获取的是原始的HTML文档，而浏览器中的页面是经过JavaScript处理数据后的结果。这些数据可能是通过Ajax加载的，可能包含HTML文档中，可能经过特定算法计算后生成的。

Ajax，全称为Asynchronous JavaScript and XML，即异步的JavaScript和XML。它是利用JavaScript在保证页面不被刷新，连接不变的情况下服务器交换数据并更新部分网页的技术。

1.示例

浏览网页的时候，我们发现很多网页都有下滑查看更多的选项。比如，就拿新浪微博主页来说。一直往下滑，看到几个微博之后就没有了，而是会出现一个加载的动画，很快就出现了新的微博内容。这个过程就是Ajax加载的过程，如下图：

2.基本原理

发送Ajax请求到网页更新的过程可以简单的分为三步：

1.发送请求

2.解析内容

3.渲染页面

♦ 发送请求

varxmlhttp;if(window.XMLHttpRequest) {//IE7,Firefox,Chrome,Safari,opera

xmlhttp = newXMLHttpRequest()

}else{//IE6,IE5

xmlhttp =