爬取全国大学排名--数据保存在js文件中的处理办法

最新推荐文章于 2024-12-20 09:43:51 发布
最新推荐文章于 2024-12-20 09:43:51 发布
阅读量1.3k 收藏 17
点赞数 15
分类专栏： 爬虫逆向专栏 文章标签： javascript 前端 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_57265868/article/details/136502961
版权

网页链接：【软科排名】2023年最新软科中国大学排名|中国最好大学排名

点击xhr后发现数据不存在，在搜索框（尽量搜索数字和字母）搜索，发现数据在js文件中,这是一个JSONP的格式，相对于json的格式

 

 

对js文件进行分析， 它定义了一个函数__NUXT_JSONP__，控制台中复制，发现其为一个函数，点击进入另一个js文件

在re处打上断点，刷新网站，继续执行脚本得到

最低0.47元/天 解锁文章
爬取中国大学排名并作可视化分析（应粉丝要求）——python作业
肥学的博客
10-18 1万+
目录标题导读爬取中国大学排名可视化分析词云条形统计图获取全国211以上大学的动态地理坐标最后对肥友说资料领取和详解 导读 肥友们，最近有位粉丝找到我直言出价让我代做作业，我一听当场就急眼了。我肥学是这样的人吗？ 直接就问他给多少钱，嘻嘻嘻！！！当然了多少钱不也不会干的，既然是粉丝我肯定尽量帮啊，于是我就开始了今天的博客。 爬取中国大学排名 链接：中国大学排名 其实还是挺简单的，这位粉丝肯定没有好好看我以前的文章，这种爬取说过很多次了。所以我们直接整起来。 我们直接找到要获得的这些信息的id或者class
Python爬虫，爬取2020年软科中国大学排名并进行数据清洗与可视化输出
drbingibng的博客
01-14 3820
使用python对【软科-高等教育评价领先品牌 https://www.shanghairanking.cn/rankings/bcur/2020】进行爬取，然后存到sql数据库中（也有excel的代码），并且进行分析，获得每个省份的大学的种类的分布图。
通过分析Ajax接口用Python爬取QS全球大学排名
zhouzying的博客
05-01 1409
经过我的分析发现QS全球大学排名网页是通过Ajax进行加载的。首先介绍一下Ajax:AJAX = 异步 JavaScript 和 XML。AJAX 是一种用于创建快速动态网页的技术。通过在后台与服务器进行少量数据交换，AJAX 可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下，对网页的某部分进行更新。Ajax 是一种在无需重新加载整个网页的情况下，能够更新部分网页的技术，它并不是新...
js逆向-软科排名header参数
逆向新手的博客
09-17 1363
目标网站： 接口信息：目标参数：首先抓包。 数据这个地方没有什么好说的，是明文没有加密。加密点在于请求的headers参数中。 在这里多了一个Authorization参数，看着像base64加密。 解密一下。 确实能够得到结果，但是中间一段还是一段加密，目前看不出来是什么加密，还需要跟栈分析一下。因为是headers参数加密。所以可以在这里进行hook操作。 注入js脚本后，发现断点没有效果。也就是说hook方法失效了，只能慢慢去分析了。 因为是xhr请求，所以在这里打下一个xhr断点。 刷新页面，
中国大学软科排名(Request-BeautifulSoup两种方式按省份爬取)
weixin_45966548的博客
11-16 1522
爬取所在省份软科排名前10的大学
爬虫爬取中国大学排名top100并简单可视化分析
y9j5015的博客
10-23 6255
爬虫爬取中国大学排名top100并简单可视化分析。 目标链接 http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html 实践环境 pycharm2018+python3.7 实践思路 首先进入目标链接，查看目标数据是否为动态变化。 确认非动态变化后，对页面进行解析，提取需要的相关数据信息。 将数据存入csv文件中并保存。 后对保存的数据进行简单的数...
ajax 和 jsonp
饮冰十年的博客
10-19 560
ajax和jsonp的区别： 相同点：都是请求一个url 不同点：ajax的核心是通过xmlHttpRequest获取内容 jsonp的核心则是动态添加标签来调用服务器 提供的js脚本。 ajax执行流程？ 1. 创建XMLHttpRequest对象,也就是创建一个异步调用对象 2. 创建一个新的HTTP请求,并指定该HTTP请求的方法、URL及验证信息 3. 设置响应HTT
jsoup实现爬取一个完整的网站，并保存到本地
03-06
用jsoup实现爬取一个完整的网站，包含网站里的所有链接内容，会另存为html到本地，js和css文件也会保存到本地，可以直接在本地打开查看一个完整的网站。 eclipse项目，可以直接导入修改。 提供一个链接和保存爬取后...
中国所有大学数据（json格式的js文件）
07-25
一共包含了全国3049所大学, 从人人网拷贝的 (仅供学习交流, 请勿用于商业项目)
jsonp原理及JSONP的客户端具体实现
老头学编程的博客
11-06 236
什么是JSONP？ 先说说JSONP是怎么产生的： 其实网上关于JSONP的讲解有很多，但却千篇一律，而且云里雾里，对于很多刚接触的人来讲理解起来有些困难，着用自己的方式来阐释一下这个问题，看看是否有帮助。 1、一个众所周知的问题，Ajax直接请求普通文件存在跨域无权限访问的问题，甭管你是静态页面、动态网页、web服务、WCF，只要是跨域请求，一律不准。 2、不过我们又发现，Web页面上调用js文件时则不受是否跨域的影响（不仅如此，我们还发现凡是拥有”src”这个属性的标签都拥有跨域的能力，比如<\s
nuxt-jsonapi:JSON格式
04-28
nuxt-jsonapi 易于JSON：Nuxt.js的API客户端集成 介绍 nuxt-jsonapi增加了易于客户端集成到 。 它是出色的 JSON：API客户端的松散包装。 此模块全局注入$jsonApi实例，您可以使用this.$jsonApi在任何地方访问客户端。 对于插件，asyncData，fetch，nuxtServerInit和Middleware，您可以从context.$jsonApi访问它。 设置 将nuxt-jsonapi依赖项添加到您的项目中 yarn add nuxt-jsonapi # or npm install nuxt-jsonapi 添加nuxt-jsonapi到modules的部分nuxt.config.js { modules : [ // Simple usage 'nuxt-jsonapi' , // Wi
js实现全国省份城市高校级联
01-07
js实现全国省份城市高校级联,亲测好用。
【爬虫】爬取大学排名信息
Jack
02-25 3831
【题目】用urllib.request和BeautifulSoup库方法定向爬取给定网址（http://www.shanghairanking.cn/rankings/bcur/2020 ）的（一个页面的）数据，屏幕打印爬取的大学排名信息。 打印示例： 排名 学校名称 省市 学校类型 总分 1 清华大学 北京 综合 852.5 2……
爬取2024年中国大学排名数据分析全过程
最新发布
weixin_43292788的博客
12-20 597
爬取2024年中国大学排名数据分析全过程
【JS逆向学习】大学竞争力2021排行榜（md5加密）
学海无涯
09-10 357
只有一个搜索结果，点击跳转并打上断点，然后点击查看更多，发现断住了，这就是我们要找的入口。另外也可以从启动器入口去跟栈分析，这里就不多介绍了，感兴趣的可以看我的其他的。加密的位置找到了，在整个加密运算过程中我们看到很多加密函数进行运算，加密，为了验证我们的这一猜想，我们把用于加密的参数拿出来测试一下。以上就是一个完整的分析过程，扣代码有几个点需要注意一下。三个参数外，其他参数都是固定不变的。是固定不变的，我们猜测是写死的。位的时间戳，那我们直接分析。都很好理解，分别是页数和。以下是完整的加密逻辑。
Python爬虫入门之2022软科中国大学排名爬取保存到csv文件
qq_63524458的博客
11-30 8837
“2022软科中国大学排名”为数据建立建立1-10名和11-20名的两个csv文件，并对两个文件进行合并，转化格式等操作。获得“2022软科中国大学排名”数据，从https://www.shanghairanking.cn/rankings/bcur/2022网页中获得排名数据信息，并将数据保存到csv文件中。 2、调用两个CSV文件，将他们合成一个文件，并按排名先后对其进行排序 3、将合并文件储存为txt文件和json文件
彻底弄懂jsonp原理及实现方法
CKT0816的博客
03-11 406
一、 同源策略 所有支持Javascript的浏览器都会使用同源策略这个安全策略。看看百度的解释： 同源策略，它是由Netscape提出的一个著名的安全策略。 现在所有支持JavaScript 的浏览器都会使用这个策略。所谓同源是指，域名，协议，端口相同。 当一个浏览器的两个tab页中分别打开百度和谷歌的页面 当一个百度浏览器执行一个脚本的时候会检查这个脚本是属于哪个页面的 即检查是否同源，只有和...
JS逆向--PyExecJS基本用法--网易云音乐逆向思路，node.js安装教程，逆向思路，逆向分析，加密机制，RSA，AES加密算法，加密算法啊破解，js引擎，定位数据包，分析栈结构，无痕窗口
ohh11的博客
11-11 6207
逆向是学习爬虫必不可少的一个部分，JS逆向的掌握可以解决绝大多数网站加密机制，以下就从一个小案例中入手JS逆向吧。在数据加密的情况下，我们通过目标网站的JS数据加密算法，反向推导出该算法的加密过程，这个过程我们称之为JS逆向。上述我们从PyExecJS模块的基本用法开始讲述,到node.js的安装，从逆向第一种思维缺啥补啥，分析了网易云逆向的基本思路。以上就算是逆向的基本入门了，虽然这只是一种比较笨拙的做法，但是它的准确率是比较高的。下一节我会讲述逆向的另外一种思维方式，想要学好逆向，躬体力行才是真!
nuxt 开发中遇到的坑二之准备阶段
qq_36677456的博客
06-17 434
1. 解决跨域问题 因为是前后端分离的开发模式，所以在项目准备阶段，跨域问题是面临的第一个问题 。 常见的解决跨域问题的方式有： 1）jsonp 模式 2）跨域资源共享（CORS）;主要由后端配置相关header字段完成 3）反向代理 ; 可以通过nginx 或者 webpack打包工具自带的proxy 属性配置。 在nuxt项目中，使用第三种方式解决跨域问题 ，具体方法如下: a) 下载依赖包 nuxt-proxy npm install @gauseen/nuxt-proxy -S
python爬虫爬取大学排名
06-13
要爬取大学排名，通常会涉及到网站的数据结构和反爬虫策略，这里是一个简化的步骤概述： 1. **目标选择**：确定要抓取的具体大学排名数据来源，如QS世界大学排名、泰晤士高等教育排名等官方网站。 2. **分析网页...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

努力学习各种软件

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值