python爬虫 爬取大学排名

最新推荐文章于 2024-08-15 14:07:32 发布
最新推荐文章于 2024-08-15 14:07:32 发布
阅读量2.7k 收藏 23
点赞数 1
文章标签： python 爬虫 大学排名
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36228216/article/details/86680334
版权

思路说明：以下的几种排名数据全部来自“迁木网”，爬取每一种排名时所用的代码大致相同，只有部分因网页数据格式的不同而引起的变动。以下将爬取四种排名的代码分别列出，并展示结果。由于第二题中需要用到第一题中所得到的数据，而将四种排名爬到的数据全部放在一份程序中，既会显得冗长混乱，又会由于爬取每种排名时所用的源代码细节的不同而出现问题。故在第一问爬取数据后，我将每一份排名数据转换为python的pandas库中的DataFrame形式并输出csv文件到桌面，在完成第二题时，直接读入数据，再进行分析即可。

一、编写实现最新世界大学四大排名的爬虫，并输出世界前100排名，中国前二十排名

  1. qs世界大学排名（调用相关的函数就可以输出对应的前多少的排名啦）

from pandas import DataFrame,Series
import pandas as pd
import requests
from bs4 import BeautifulSoup
import bs4

allUniv = {'排名':[],'学校名称':[],'国家':[]}
url = 'http://www.qianmu.org/ranking/1528.htm'
#url = 'http://www.qianmu.org/2018USNEWS%E4%B8%96%E7%95%8C%E5%A4%A7%E5%AD%A6%E6%8E%92%E5%90%8D'

def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""
#提取html的函数
def fillUnivList(soup):
    data00 = soup.find_all('div',class_ = "rankItem")
    data0 = data00[1].find_all('tbody')
    data = data0[0].find_all('tr')
    for tr in data[1:]:
        ltd = tr.find_all('td')
        if len(ltd) == 0:
            continue
        allUniv['排名'].append(ltd[0].string)
        allUniv['学校名称'].append(ltd[1].string)
        allUniv['国家'].append(ltd[3].string)
#将需要的信息放在一个字典的几个相应的列表中的函数，便于生成DataFrame
        

def printUnivList(num,scope = "World"):
    if scope == "World":
        printWorldUnivlist(num)
    elif scope == "China":
        printChinaUnivlist(num)
#通过传入数字和排名种类打印出相应排名，默认打印世界排名
def printWorldUnivlist(num):
    
    print("{1:^2}   {2:{0}<30}".format(chr(12288),"排名","学校名称"))
    for i in range(0,num):  
        try:
            print("{1:^4}    {2:{0}<60}".format(chr(12288),df.ix[i]['排名'],df.ix[i]['学校名称']))
        except:
            continue
#打印世界排名前num的大学

def printChinaUnivlist(num):
    print("{1:^2}   {2:{0}<30}".format(chr(12288),"排名","学校名称"))
    df_china = df[df['国家'] == '中国']
    for i in range(0,num):
        print("{1:^4}    {2:{0}<60}".format(chr(12288),df_china.index[i],df_china.iloc[i]['学校名称']))
#打印中国排名前num的大学

html = getHTMLText(url)
soup = BeautifulSoup(html,'html.parser')
fillUnivList(soup)
df = DataFrame(allUniv)

df.to_csv(r"C:/Users/ichigo/Desktop/qs.csv")

 

2.USNEWS世界大学排名

from pandas import DataFrame,Series
import pandas as pd
import requests
from bs4 import BeautifulSoup
import bs4

allUniv = {'排名':[],'学校名称':[],'国家':[]}
url = 'http://www.qianmu.org/2018USNEWS%E4%B8%96%E7%95%8C%E5%A4%A7%E5%AD%A6%E6%8E%92%E5%90%8D'

def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""
#提取html的函数

def fillUnivList(soup):
    #data00 = soup.find_all('div',class_ = "rankItem")
    data0 = soup.find_all('tbody')
    data = data0[0].find_all('tr')
    for tr in data[1:]:
        ltd = tr.find_all('td')
        if len(ltd) == 0:
            continue
        allUniv['排名'].append(ltd[0].string)
        allUniv['学校名称'].append(ltd[1].string)
        allUniv['国家'].append(ltd[3].string)
#将需要的信息放在一个字典的几个相应的列表中的函数，便于生成DataFrame
       
def printUnivList(num,scope = "World"):
    if scope == "World":
        printWorldUnivlist(num)
    elif scope == "China":
        printChinaUnivlist(num)
#通过传入数字和排名种类打印出相应排名，默认打印世界排名

def printWorldUnivlist(num):
    
    print("{1:^2}   {2:{0}<30}".format(chr(12288),"排名","学校名称"))
    for i in range(0,num):  
        try:
            print("{1:^4}    {2:{0}<60}".format(chr(12288),df.ix[i]['排名'],df.ix[i]['学校名称']))
        except:
            continue
#打印世界排名前num的大学

def printChinaUnivlist(num):
    print("{1:^2}   {2:{0}<30}".format(chr(12288),"排名","学校名称"))
    df_china = df[df['国家'] == '中国']
    for i in range(0,num):
        print("{1:^4}    {2:{0}<60}".format(chr(12288),df_china.index[i],df_china.iloc[i]['学校名称']))
#打印中国排名前num的大学


html = getHTMLText(url)
soup = BeautifulSoup(html,'html.parser')
fillUnivList(soup)
df = DataFrame(allUniv)
for indexs in df.index:
    try:
        df['国家'].ix[indexs] = (df['国家'].ix[indexs]).strip()
    except:
        continue
df.to_csv(r"C:\Users\ichigo\Desktop\usnews.csv")
  1. 3. 上海交通大学软科学世界大学排名
  2. from pandas import DataFrame,Series
import pandas as pd
import requests
from bs4 import BeautifulSoup
import bs4

allUniv = {'排名':[],'学校名称':[],'国家':[]}
url = 'http://www.qianmu.org/2018USNEWS%E4%B8%96%E7%95%8C%E5%A4%A7%E5%AD%A6%E6%8E%92%E5%90%8D'

def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""
#提取html的函数

def fillUnivList(soup):
    #data00 = soup.find_all('div',class_ = "rankItem")
    data0 = soup.find_all('tbody')
    data = data0[0].find_all('tr')
    for tr in data[1:]:
        ltd = tr.find_all('td')
        if len(ltd) == 0:
            continue
        allUniv['排名'].append(ltd[0].string)
        allUniv['学校名称'].append(ltd[1].string)
        allUniv['国家'].append(ltd[3].string)
 #将需要的信息放在一个字典的几个相应的列表中的函数，便于生成DataFrame       

def printUnivList(num,scope = "World"):
    if scope == "World":
        printWorldUnivlist(num)
    elif scope == "China":
        printChinaUnivlist(num)
#通过传入数字和排名种类打印出相应排名，默认打印世界排名

def printWorldUnivlist(num):
    
    print("{1:^2}   {2:{0}<30}".format(chr(12288),"排名","学校名称"))
    for i in range(0,num):  
        try:
            print("{1:^4}    {2:{0}<60}".format(chr(12288),df.ix[i]['排名'],df.ix[i]['学校名称']))
        except:
            continue
#打印世界排名前num的大学

def printChinaUnivlist(num):
    print("{1:^2}   {2:{0}<30}".format(chr(12288),"排名","学校名称"))
    df_china = df[df['国家'] == '中国']
    for i in range(0,num):
        print("{1:^4}    {2:{0}<60}".format(chr(12288),df_china.index[i],df_china.iloc[i]['学校名称']))
#打印中国排名前num的大学


html = getHTMLText(url)
soup = BeautifulSoup(html,'html.parser')
fillUnivList(soup)
df = DataFrame(allUniv)

for indexs in df.index:
    try:
        df['国家'].ix[indexs] = (df['国家'].ix[indexs]).strip()
    except:
        continue
#将某些“国家”对应字符串两边有空格的去掉空格


df.to_csv(r"C:\Users\ichigo\Desktop\arwu.csv")

    4.THE世界大学排名


from pandas import DataFrame,Series
import pandas as pd
import requests
from bs4 import BeautifulSoup
import bs4

allUniv = {'排名':[],'学校名称':[],'国家':[]}
url = 'http://www.qianmu.org/ranking/902.htm'

def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""
#提取html的函数

def fillUnivList(soup):
    #data00 = soup.find_all('div',class_ = "rankItem")
    data0 = soup.find_all('tbody')
    data = data0[0].find_all('tr')
    for tr in data[1:]:
        ltd = tr.find_all('td')
        if len(ltd) == 0:
            continue
        allUniv['排名'].append(ltd[0].string)
        allUniv['学校名称'].append(ltd[1].string)
        allUniv['国家'].append(ltd[6].string)
#将需要的信息放在一个字典的几个相应的列表中的函数，便于生成DataFrame        

def printUnivList(num,scope = "World"):
    if scope == "World":
        printWorldUnivlist(num)
    elif scope == "China":
        printChinaUnivlist(num)
#通过传入数字和排名种类打印出相应排名，默认打印世界排名

def printWorldUnivlist(num):
    
    print("{1:^2}   {2:{0}<30}".format(chr(12288),"排名","学校名称"))
    for i in range(0,num):  
        try:
            print("{1:^4}    {2:{0}<60}".format(chr(12288),df.ix[i]['排名'],df.ix[i]['学校名称']))
        except:
            continue
#打印世界排名前num的大学

def printChinaUnivlist(num):
    print("{1:^2}   {2:{0}<30}".format(chr(12288),"排名","学校名称"))
    df_china = df[df['国家'] == '中国']
    for i in range(0,num):
        print("{1:^4}    {2:{0}<60}".format(chr(12288),df_china.index[i],df_china.iloc[i]['学校名称']))
#打印中国排名前num的大学


html = getHTMLText(url)
soup = BeautifulSoup(html,'html.parser')
fillUnivList(soup)
df = DataFrame(allUniv)
for indexs in df.index:
    try:
        df['国家'].ix[indexs] = (df['国家'].ix[indexs]).strip()
    except:
        continue
#将某些“国家”对应字符串两边有空格的去掉空格
df.to_csv(r"C:\Users\ichigo\Desktop\THE.csv")

 

ichigoooooo
关注
专栏目录
python爬虫分析大学排名_python爬虫（中国大学排名定向爬虫--解析）
weixin_39738755的博客
12-16 397
右键单击 -> 查看网页源代码：找到需要爬取的信息的位置：(可以Ctrl+F 搜索 "清华大学" 快速找到位置)自诩观察网页源代码可以发现：所有的大学信息都放在了 标签下每个大学信息都放在了对应的 标签下每个大学的每一条信息都放在了对应的 标签中编写代码：import requestsfrom bs4 import BeautifulSoupimport bs4#爬取网页信息代码:...
参考实例20，实现按照省份输出中国大学排名的功能。（可存储为CSV格式文件）采用Python语言
weixin_43330908的博客
10-03 5174
参考实例20，实现按照省份输出中国大学排名的功能。（可存储为CSV格式文件）采用Python语言 url='http://www.zuihaodaxue.com/zuihaodaxuepaiming2018.html' r=requests.get(url) r.encoding=&quot;utf-8&quot; soup=BeautifulSoup(r.text,'html.parser') zpm=soup.f...
Python之爬虫-中国大学排名
weixin_30814319的博客
05-07 203
Python之爬虫-中国大学排名 #!/usr/bin/env python # coding: utf-8 import bs4 import requests from bs4 import BeautifulSoup # 通过传入网址信息创建一个获取网页文本的函数 def getHTMLText(url): # 判断获取网页文本过程中是否有错误 try: ...
Python爬虫与数据分析：中国大学排名的深度挖掘
最新发布
R5463995的博客
08-15 1039
一所好的大学，对人生的影响是非常巨大的，在力所能及的范围内选择一所位于教育资源更加多源，高等教育水平更高的省份城市的优秀大学是非常重要的事，作为判断标准的数据，在以往单单是一所大学的相关资料就需要通过大量、繁琐的查找与翻阅才能够得到，若是多所大学的多年的变化则需要更多的时间。而现在通过python的则能够相对轻松的得到。
python爬新闻并保存到csv_python入门 访问网站并将爬回来的数据保存为csv文件
weixin_39895486的博客
11-21 153
1 import requests2 import csv3 import os4 import codecs5 frombs4 import BeautifulSoup6 allUniv =[]7 def getHTMLText(url):8 try:9 r = requests.get(url, timeout=30)10 r.raise_for_status()11 ...
《python网络爬虫——大学排名》
WUD的博客
05-26 1836
python网络爬虫——大学排名
python爬虫世界最好大学_python爬虫爬取最好大学排名
weixin_39787594的博客
11-21 355
#-*- coding:utf-8 -*-#-Author-= JamesBen#Email: 1597757775@qq.comimportrequestsfrom bs4 importBeautifulSoupimportbs4#定义第一个函数得到网页源代码，并且可以进行稳定的运行defGet_HTML(url):try:use= {'User-Agent': 'Mozilla/5.0'} ...
使用Python爬取最好大学网大学排名
09-20
main函数中首先定义了要爬取的URL地址，然后调用getHTMLText函数获取网页内容，接着调用fillUnivList函数解析网页内容并将数据存储到列表中，最后调用printUnivList函数按格式输出获取到的大学排名列表。 6. Python...
爬虫入门之最好大学网–专项学科全国排名爬虫
12-22
例如，对于专项学科的全国排名，我们需要提取学科排名、2018年排名、百分位段、学校名称和学科评分等信息。在ranksList函数中，我们遍历HTML表格的行，筛选出包含所有必要信息的行，并将其添加到列表中。同样，我们...
爬虫爬取大学排名示例
01-21
#步骤1：从网络上获取大学排名网页内容 getHTMLText #步骤2： 提取网页内容中信息到合适的数据结构 fillUnivList() #步骤3:利用数据结构展示并输出结果 printUnivList() import requests from bs4 import ...
python爬取中国大学排名_Python爬取中国大学排行榜
weixin_34335039的博客
02-21 1641
欢迎订阅公众号 数据分析那些事儿0 前言给定一个网页的表格，怎么将网页表格中的数据爬取下来呢？以 最好大学网 为例，怎样定向爬取网页中大学的排名呢？1 HTML网页元素结构可以点开网站，查看源代码，大学排名是一个表格，网页元素结构如下：row 1, cell 1row 1, cell 2row 1, cell 3row 2, cell 1row 2, cell 2row 2, cell 3复制代码...
大学排名爬虫
02-01
简单的爬虫实例，爬取了大学排名的相关信息，适合爬虫入门
分析Ajax接口获取QS排名的Python爬虫及QS排名文档.zip
04-30
这个爬虫是通过分析Ajax 接口写成的Python爬虫。爬取的是2018年QS全球大学排名，文件中包含完整的Python爬虫代码和爬取下来的2018年QS全球大学排名。
python爬虫-中国大学排名
qq_42711815的博客
03-18 528
遇到的问题 1 中文对其问题的原因： 当中文字符宽度不够时，系统会采用西文字符填充。中西文字符占用宽度不同 中文对齐问题的解决： 采用中文字符的空格填充chr(12288) farmat()函数的基本使用 基本语法是通过 {} 和 : 来代替以前的 % 。 format 函数可以接受不限个参数，位置可以不按顺序。 1 format函数的简单使用 &gt;&gt;&gt;"{} {}".form...
Python 爬虫-2020年中国大学排名
木有君兮的博客
09-13 725
爬虫-中国大学排名 要爬取的网站：2020软科中国大学排名 代码思路均来自：北京理工大学-Python网络爬虫与信息提取（mooc）对爬虫感兴趣的可以去看一下。 1.爬虫的第一步首先要检查所爬取的网站是否有爬虫协议（robots协议），爬取人家的东西，还是要看看网站上那些东西是不能爬的。 检查2020软科中国大学排名的爬虫协议得到结果如下： ...
python爬虫--09 大学排名
qq_25672165的博客
03-16 165
import requests from bs4 import BeautifulSoup import bs4 ## 步骤1：从网络上获取大学排名网页内容 def getHTMLText(url): try: r = requests.get(url,timeout = 10) r.raise_for_status() r.encod...
python爬取大学排名_使用Python爬取最好大学网大学排名
weixin_36249618的博客
02-04 236
本文实例为大家分享了Python爬取最好大学网大学排名的具体代码，供大家参考，具体内容如下源代码： #-*-coding:utf-8-*-'''''Created on 2017年3月17日@author: lavi'''import requestsfrom bs4 import BeautifulSoupimport bs4def getHTMLText(url):try:r = reques...
python爬虫——中国大学排名详细教程 （全注释）
weixin_43415275的博客
10-21 2200
使用步骤： 安装python 下载 requests 库 和 BeautifulSoup 库 复制代码按需求修改（或保持不变） 运行 import requests from bs4 import BeautifulSoup import bs4 def getHTMLText(url): try: r = requests.get(url, timeout=3...
爬虫大学排名输出是竖着的
06-12
您可以尝试使用以下代码实现爬取并输出大学排名，并且让输出变为横向排列： ```python import requests from bs4 import BeautifulSoup url = 'http://www.zuihaodaxue.com/zuihaodaxuepaiming2021.html' headers ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值