python爬虫三—Ajax/selenium爬虫

一、什么是Ajax

• 浏览器中可看到正常显示的数据，但使用requests得到的结果并没有。 这是什么原因呢?
  requests获取的是原始的HTML文档，而浏览器中的页面是经过JS处理数据后生成的结果。
  右图的加载页面就是Ajax正在请求某一个API接口的数据，当请求到之后会返回给我们并展示出来。
• 这些数据的来源有哪些情况呢?
  Ajax加载、包含在HTML文档中、经过JavaScript和特定算法计算后生成

Ajax(Asynchronous JavaScript and XML)异步的JS和XML。原理是: 利用JS在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新部分网页的技术。

二、Ajax如何分析页面

拖动刷新的内容由Ajax加载且页面的URL无变化，那么可以去哪里查看这些Ajax请求？
（1）开发者工具(F12)->Network选项卡, 获取页面加载过程中Browser与Server之间请求和响应。
（2）筛选出所有的Ajax请求。在请求的上方有一层筛选栏，直接点击XHR(Ajax特殊的响应类型)
（3）模拟Ajax请求，提取我们所需要的信息。

打开Ajax的XHR过滤器，然后一直滑动页面以加载新的微博内容。可以看到，会不断有Ajax请求发出。请求的参数有4个：type、value、containerid和page。

项目： 基于Ajax和requests的的微博采集器