软科中国大学排名爬虫+数据可视化

最新推荐文章于 2024-08-15 14:07:32 发布
最新推荐文章于 2024-08-15 14:07:32 发布
阅读量894 收藏
点赞数 2
分类专栏： 爬虫 数据可视化 文章标签： 爬虫 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73744583/article/details/140859211
版权

这一期是关于软科中国大学排名的爬虫分析

目标网址：https://www.shanghairanking.cn/rankings/bcur/2024

每页30所学校信息，共20页

点击翻页，你发现网址没有发生变化，说明该页面信息应该是利用js实现动态加载数据的方式展示的，所以我们无法通过 get 传参的方式来切换网页进行爬取。

接下来，按 F12 或者右键选择审查元素，搜索一下清华大学查看网页结构：

这里我们可以看到信息都在一个 payload.js 的文件里，继续查看可以发现这里有590所学校的所有信息，说明网页显示的内容是通过 javascript 解析这个文件动态加载进去的。

那我们只需要解析这个文件就好了，找到各个变量对应的值。

最终爬取到的数据：

完整代码评论区获取

我写的代码全是bug
关注
专栏目录
爬取中国大学排行榜.zip
04-12
python爬取中国大学排行榜，并对前十做可视化柱状图分析
基于中国大学软科排名网站的数据爬取及可视化分析
02-13
基于中国大学软科排名网站的数据爬取及可视化分析 要求： （1）使用selenium和PhantomJS模拟登录软科学网，保存网页快照paiming.png文件； （2）爬取网站排名前100的大学信息，字段包括：中文名、省市、类型、排名、总分，存储到文件（Json或者excel）或者MySQL或者MongoDB数据库； （3）对存储的数据采用可视化技术进行分析，分析主榜上榜高校各省市分布数据量，形成柱状图或者曲线图或者地图等；其次，分析各省市平均分形成柱状图；再次，上榜高校最多的省市名称形成词云展示。 注：进行升级改造，输入要爬取的页数，进行爬取，不单单只爬取前100个
mysql 一次插入多条数据和一次一条数据效率对比
俩科的博客
12-10 7880
mysql 一次插入多条数据和一次一条数据效率对比 insert into `user`(name,password) VALUES ("12","kk啊"),("15","好好学习"),("13","天天向上"); insert into `user`(name,password) VALUES ("12","kk啊"); 其实时间是一样的，为什么呢？因为sql执行的次数是一样的。 用处，在进行数据转移的时候，很多时候插入数据嘛，都会用这个一条一条插入，是吧，很慢，真的很慢，而且为了防止数据库崩
Python爬虫实战之 爬取全国理工类大学数量+数据可视化
brilliant666的博客
08-04 4462
前面两章，咱们介绍了Beautifulsoup4模块的简单用法，今天咱们就用来爬取高考各省的分数线，并简单实现一个数据可视化。
Python爬虫与数据分析：中国大学排名的深度挖掘
最新发布
R5463995的博客
08-15 1029
一所好的大学，对人生的影响是非常巨大的，在力所能及的范围内选择一所位于教育资源更加多源，高等教育水平更高的省份城市的优秀大学是非常重要的事，作为判断标准的数据，在以往单单是一所大学的相关资料就需要通过大量、繁琐的查找与翻阅才能够得到，若是多所大学的多年的变化则需要更多的时间。而现在通过python的则能够相对轻松的得到。
Python爬虫入门——爬取中国大学排名
Huifeng Tang 的博客
04-07 772
中国大学排名相关链接：http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html 分析源代码得：大学排名的数据都存储于tbody标签下的子标签（关键） import requests from bs4 import BeautifulSoup import bs4 def getHTMLText(url): try: ...
爬取中国大学的排名
weixin_40683302的博客
04-23 395
爬取中国大学的排名 进入目标网址，选中目标信息，右键点击检查查看源代码，可以发现所有的大学都封装在标签tbody之下，并且每一个大学都封装在同名标签tr之下。所以可以用for循环遍历所有的tr，提取目标信息。 用bs4解析网页，之后用soup.<标签>访问目标标签，之后用string提取信息。 以下附上实现的代码 import requests from bs4 import...
爬取中国大学排名
KK_2018的技术博客_程序员不止是程序员
01-29 290
import requests from bs4 import BeautifulSoup import bs4 url = "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html" ulist = [] # 获取HTML页面 def getHTML(url): try: r = requests.get(url,...
软科数据—2021中国大学排名分析.zip
10-07
数据源：软科数据—2021中国大学排名 问题表述 用户画象：待填报志愿的高考生 用户任务：了解大学信息以进行志愿填报 用户痛点（需求）：不了解大学的排名及各指标的得分，不了解同类型院校的排名，不清楚各省市大学...
Python爬虫，爬取2020年软科中国大学排名并进行数据清洗与可视化输出
drbingibng的博客
01-14 3688
使用python对【软科-高等教育评价领先品牌 https://www.shanghairanking.cn/rankings/bcur/2020】进行爬取，然后存到sql数据库中（也有excel的代码），并且进行分析，获得每个省份的大学的种类的分布图。
【python实战】爬虫+数据可视化帮表弟选大学，直呼牛X
热门推荐
公号：一条coding
06-08 1万+
你觉得牛不牛？
爬取中国大学排名（前567）
qq_34024346的博客
12-09 311
import requests from bs4 import BeautifulSoup import re allUniv = [] def getHTMLText(url): try: r = requests.get(url,timeout = 30) r.raise_for_status() r.encoding = 'utf-8' return r.text except: return "" .
用python爬虫爬取2020年中国大学排行
guoxuying的博客
02-05 938
用python爬虫爬取2020年中国大学排行 话不多说，直接上代码： from bs4 import BeautifulSoup # 网页解析 获取数据 import re # 正则表达式 进行文字匹配 import urllib.request, urllib.error # 制定url 获取网页数据 import xlwt def main(): baseurl = "http://m.gaosan.com/gaokao/265440.html" datalist = getD
2024中国大学排名爬取
qq_43494013的博客
05-11 338
2024中国大学排名爬取
中国大学排名的爬取
Pang_ling的博客
02-11 454
实例介绍 功能描述 输入：大学排名的URL链接 输出：大学排名信息的屏幕输出（排名，大学名称，总分） 技术路线：requests-bs4 定向爬虫：进队输入URL进行爬取，不扩展爬取 程序的结构设计 步骤一：从网络上获取页面信息 getHTMLText() 步骤二：提取网页内容中信息到合适的数据结构 fillUnivList() 步骤三：利用数据结构展示并输出结果 printUnivList() ...
python爬取中国大学排名_Python爬取中国大学排行榜
weixin_34335039的博客
02-21 1639
欢迎订阅公众号 数据分析那些事儿0 前言给定一个网页的表格，怎么将网页表格中的数据爬取下来呢？以 最好大学网 为例，怎样定向爬取网页中大学的排名呢？1 HTML网页元素结构可以点开网站，查看源代码，大学排名是一个表格，网页元素结构如下：row 1, cell 1row 1, cell 2row 1, cell 3row 2, cell 1row 2, cell 2row 2, cell 3复制代码...
python爬取高考各高校分数线_Python爬虫实战之 爬取全国理工类大学数量+数据可视化...
05-29
好的，我理解您的问题是想了解如何使用Python爬虫爬取高考各高校分数线和全国理工类大学的数量，并进行数据可视化。以下是我为您提供的解答： 1. 爬取高考各高校分数线 要爬取高考各高校分数线，您可以先找到一个包含分数线数据的网站，比如中国教育在线或者各省教育招生考试院的官网。然后使用Python的requests库和beautifulsoup库来进行网页数据的获取和解析。具体的代码实现可以参考以下文章： https://www.jianshu.com/p/8999d187a6a3 2. 爬取全国理工类大学数量 要爬取全国理工类大学数量，您可以先找到一个包含全国各大高校信息的网站，比如中国大学排名网或者各省教育招生考试院的官网。然后使用Python的requests库和beautifulsoup库来进行网页数据的获取和解析。具体的代码实现可以参考以下文章： https://blog.csdn.net/dengziyue/article/details/84947515 3. 数据可视化 要进行数据可视化，您可以使用Python的matplotlib库或者seaborn库来进行数据的绘制。比如可以使用柱状图来展示各高校分数线的情况，使用饼状图来展示全国理工类大学的数量分布等。具体的代码实现可以参考以下文章： https://blog.csdn.net/qq_40057213/article/details/80712594 希望以上解答能够帮助到您，如有任何问题请随时提出。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我写的代码全是bug

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值