网络爬虫(1)----爬取JS动态数据(上)

本文以单个例子为基础实现了最简单的python抓取动态脚本内容仅用于研究 工具:360浏览器极速模式 目标:新榜各大平台排行榜数据,如下图所示 第一步,右键审查元素搞起,通过点击如下图所示右边的每个栏目,NETWORK抓包可以看到XHR(针对) 第二步:获取请求参数 ,查看Headers 可知请求参数为:www.newrank.cn/xdnphb/main/v1/day/rank...
摘要由CSDN通过智能技术生成

       

           本文以单个例子为基础,实现了最简单的python抓取动态脚本内容,仅做研究不用于任何非法目的。

       

目录

  第一步,打开网页右键审查元素

  第二步:获取请求参数 ,查看Headers

  第三步:构造请求参数

  第四步:HTTP请求实际模拟


       工具:360浏览器极速模式(极速模式下可使用审查元素功能), PYTHON, 

       目标:新榜各大平台排行榜公开数据(如下图所示)

      

       准备知识:

       1)360极速模式:  可使用审查元素功能。  审查元素最早是Google Chrome浏览器提供的一项服务功能,用户只需右键点击“审查元素”(名字),即可打开Chrome Inspector,获得网页各种元素的加载时间、                                               Javascript函数、Object等信息。

       2)NETWORK的XHR和JS区别:在‘Network’里过滤XHR标签,XHR是XMLHttpRequest,这是AJXAX的一个特征。AJAX (Asynchronous JavaScript and XML),直译的话就是异步的JavaScript和XML。这的                                                                      异步指的是异步加载或者异步数据交换,指的是利用XMLHttpRequst或其他fetch API在网页初步加载结束后,再次发送请求并从服务器上获取并解析数据,然后把这部分数据                                                                    添加到到已有的页面上,在这个过城中,访问的URL始终没变。AJAX本质上是一种框架,通过JavaScript可以实现部分更新网页的效果。对于界面,异步加载现象(就是往下                                                                    拖的时候会出现新的内容),这往往就是AJAX的显著标志,因此查询触发动作看XHR即可

                                                                  xhr 是

  • 6
    点赞
  • 25
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

三翔馆主

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值