最好大学排名详解

#2021/10/16 周六
#爬取https://www.shanghairanking.cn/rankings/bcur/202111网站的中国大学排名的前20名大学的“排名”“大学名称”“省市”“总分”四项内容
#爬取前仔细观察需爬取内容的网页源代码，包括内容所在的标签元素（<tbody><tr><td><div><a>),对爬取内容进行同一标签内的排序
#每年网址会有所更改，网站源代码会有所变化，近年在我们所需爬取的内容标签中有了许多的空格，需要注意处理

import requests#请求的作用，简单理解就是向网页请求url链接，进而爬取它
import bs4#在第二个方法中用到了bs4的标签定义函数element
from bs4 import BeautifulSoup#这个BeautifulSoup库是对网页的一个排版美化的作用，给原始网页html换行加缩近使其看着更舒适

def getHTMLText(url):#从网络上获取大学排名网页内容:定义函数getHTMLText()
    try: #备注1    
        r = requests.get(url,timeout=30)#通过get函数获取url信息
        r.raise_for_status()#用于产生异常信息
        r.encoding = r.apparent_encoding#修改编码，apparent_encoding一般为utf-8,避免乱码的出现。
        return r.text#成功则返回该链接的网页信息
    except:
        return ""#否则为异常信息，返回空串

def fillUnivList(ulist, html):#提取大学排名网页中需要的信息并存放进合适的列表里
    soup = BeautifulSoup(html, "html.parser")#通过BeautifulSoup函数对页面进行调整，使得格式更加方便看，采用html的解析器
    for tr in soup.find('tbody').children:#备注2
        if isinstance(tr, bs4.element.Tag):#备注3（过滤掉bs4库定义的非标签信息的其他信息）
            a = tr('a')#将所有的a标签存为一个列表类型
            tds = tr('td')#将所有的td标签存为一个列表类型
            ulist.append([tds[0].text.strip(), a[0].text.strip(), tds[2].text.strip(),tds[4].text.strip()])
            #td标签中内容之前有了更多的空白,strip()方法用于移除字符串头尾指定的字符（默认为空格或换行符）或字符序列

def printUnivList(ulist, num):#利用数据结构展示并输出结果
    tplt = "{0:^10}\t{1:{4}^10}\t{2:^10}\t{3:^10}"
    #用tplt存放输出 格式的定义；其中^表示居中对齐，10表示按10个字符的长度输出。长度不够补空格，{4}表示使用format函数的
    #第四个变量进行填充，即使用中文的空格进行填充。
    print(tplt.format("排名","学校名称","省市","总分",chr(12288)))
    #Python使用.format函数进行格式化输出
    #chr(12288)表示按中文的习惯进行填充空格，为了输出对齐的约束
    for i in range(num):
        u=ulist[i]
        print(tplt.format(u[0],u[1],u[2],u[3],chr(12288)))
    print("Suc"+str(num))
            

def main():
    uinfo = []#存放大学信息
    url = "https://www.shanghairanking.cn/rankings/bcur/202111"
    html = getHTMLText(url#获取该网页内容
    fillUnivList(uinfo,html)#分析该网页内容，存放在uinfo列表中
    printUnivList(uinfo,20)#打印列表前二十名的信息

    
main()
#备注1：
#try except 语句的执行流程如下：
#首先执行 try 中的代码块，如果执行过程中出现异常，系统会自动生成一个异常类型，并将该异常提交给 Python 解释器，此过程称为捕获异常。
#当 Python 解释器收到异常对象时，会寻找能处理该异常对象的 except 块，如果找到合适的 except 块，则把该异常对象交给该 except 块处理，
#这个过程被称为处理异常。如果 Python 解释器找不到处理异常的 except 块，则程序运行终止，Python 解释器也将退出。
                       
#备注2：
#以下函数需要观察网页源代码进行写，(可通过网页源代码页面ctrl+f进行查找标签）可以看出：一个<tr></tr>包含了一个大学的所有信息，每个
#<td></td>又包含了一个大学不同方面的排名、名称、省市等。tr的上一个属性是tbody，通过tbody的孩子节点找遍历所有的tr，在tr标签
#中找到td标签的信息，并将第1、2、4对应于tds数组中第0、1、3列的信息，第1对应a数组中的第0列的信息存贮进ulist中。

#备注3：
#isinstance函数使用，isinstance() 函数来判断一个对象是否是一个已知的类型，类似 type()。isinstance(object, classinfo)，object：实例对象。
#classinfo:可以是直接或间接类名、基本类型或者由它们组成的元组。判别实例是否属于哪一类。
#bs4.element.Tag:bs4库中定义的tag类型