网络爬虫（1）----爬取JS动态数据（上）

       

           本文以单个例子为基础，实现了最简单的python抓取动态脚本内容，仅做研究不用于任何非法目的。

       

目录

  第一步，打开网页右键审查元素

  第二步：获取请求参数 ，查看Headers

  第三步：构造请求参数

  第四步：HTTP请求实际模拟

---

       工具：360浏览器极速模式（极速模式下可使用审查元素功能）, PYTHON, 

       目标：新榜各大平台排行榜公开数据（如下图所示）

      

       准备知识：

       1）360极速模式：  可使用审查元素功能。  审查元素最早是Google Chrome浏览器提供的一项服务功能，用户只需右键点击“审查元素”（名字），即可打开Chrome Inspector，获得网页各种元素的加载时间、                                               Javascript函数、Object等信息。

       2）NETWORK的XHR和JS区别：在‘Network’里过滤XHR标签，XHR是XMLHttpRequest，这是AJXAX的一个特征。AJAX (Asynchronous JavaScript and XML)，直译的话就是异步的JavaScript和XML。这的                                                                      异步指的是异步加载或者异步数据交换，指的是利用XMLHttpRequst或其他fetch API在网页初步加载结束后，再次发送请求并从服务器上获取并解析数据，然后把这部分数据                                                                    添加到到已有的页面上，在这个过城中，访问的URL始终没变。AJAX本质上是一种框架，通过JavaScript可以实现部分更新网页的效果。对于界面，异步加载现象（就是往下                                                                    拖的时候会出现新的内容)，这往往就是AJAX的显著标志，因此查询触发动作看XHR即可

                                                                  xhr 是