python动态爬虫ajax翻页_如何爬动态加载的页面？ajax爬虫你有必要掌握

通过前面几期Python爬虫的文章，不少童鞋已经可以随心所欲的爬取自己想要的数据，就算是一些页面很难分析，也可以用之前介绍的终极技能之「Selenium」+「Webdriver」解决相关问题，但无奈这种办法效率太慢，咋整？

今天就为大家介绍Ajax异步加载的数据的爬取。

↓↓↓

何为Ajax异步加载的数据呢？Ajax，全称为Asynchronous JavaScript and XML，即异步的JavaScript和XML。它不是一门编程语言，而是利用JavaScript在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新部分网页的技术。对于传统的网页，如果想更新其内容，那么必须要刷新整个页面，但有了Ajax，便可以在页面不被全部刷新的情况下更新其内容。在这个过程中，页面实际上是在后台与服务器进行了数据交互，获取到数据之后，再利用JavaScript改变网页，这样网页内容就会更新了。

通俗来讲：就像一栋房子，先把框框架架搭起来(前端页面框架)，再给他装修、置办家具(填充数据)，这里的装修、置办家具即是ajax请求的数据。。

我们可以通过一些网站的事例来直观的了解一下什么到底是什么是ajax。

例如访问“蘑菇街”电商平台中的食品类目：http://list.mogujie.com/book/food/52026，通过Chrome浏览器可以看到我们与“蘑菇街”交互的所有数据。

示范：1打开Chrome，访问

http://list.mogujie.com/book/food/520262在Chrome中按F12或者在页面空白处点击鼠标右键→检查。3点击Clear 和 XHR 按钮。

4刷新一下页面。

5点击一下左边的search?callback=JQuery….,再点击右边栏的Response其下方会出现一些看不懂，但又好像有点儿规则的数据。管他的，先Ctrl+A全选拷贝出来看看。(如果你把商品列表页继续下滑，会出现更多的这种数据哦。)6使用Chrome插件「JSON-hanle」或者访问：https://www.json.cn/将刚才拷贝的数据粘贴进去，点击OK。

7再与网页上的数据对比一下，见图：

怎么样？是不是一目了然，相关数据都在里面了。这里的orgPrice为原价、sale为销量、cfav为点赞、price为现价。这些数据都已经在这一串乱七八糟的