爬取中国最好大学排名——python+requests+bs4

爬虫实例来源：中国大学mooc平台 北京理工大学 嵩天老师的《Python程序语言设计基础》课程

talk is cheep,show me the code:

# coding=utf-8
import requests
from bs4 import BeautifulSoup

allUniv=[]  #all university

#requests库获取url页面的全部内容，作为返回值返回
def getHTMLText(url,timeout=30):
    try:
        r=requests.get(url)
        r.raise_for_status()
        r.encoding='utf-8'
        return r.text
    except:
        return ""

#将requests库获取的数据，交由bs4清洗，提取出<tr>中的<td>（表格）中的<a>标签中的信息，每一行的数据先按列存入singleUniv一维数组，然后按行存入allUniv二维数组中

def fillUnivList(soup):
    data=soup.find_all('tr')#找到所有的tr，一个tr包含一所学校的所有信息："排名","学校名称","省份","类型","总分","办学层次"
    for tr in data:
        ltd=tr.find_all('td')#找到tr中所有的td，一个td包含学校的一个具体信息，如排名、学校名称等
        if len(ltd)==0: #如果tr中没有找到td，进入下一次循环
            continue
        singleUniv=[]
        for td in ltd:
            tda=td.find('a')    #寻找td中的<a>标签，其中包含学校名称，实际网站中只会有一个<a>标签，使用find()即可，存入tda中
            if tda:
                UniName=tda.string  #如果tda不为空,将学校名称赋值给UniName，下一步存入singleUniv中
                singleUniv.append(UniName)
            elif td.string.strip(): #strip方法去除两侧（不包含内部）空格的字符串，如果不为空，存入singleUniv中
                singleUniv.append(td.string.strip())
        allUniv.append(singleUniv)

#将allUniv中的数据写入txtPath路径所指的txt文件中，并使用string.format格式化每条数据
#也可在参数中添加num参数，控制写入的数据量——前num名
def printUnivListInText(txtPath):
    with open(txtPath,'w+',encoding='utf-8') as t:
        s='{1:^4}{2:{0}^10}{3:{0}^7}{4:{0}^6}{5:{0}^8}{6:{0}^8}'.format(chr(12288),"排名","学校名称","省份","类型","总分","办学层次")
        t.write(s)
        #排名1到100有办学层次的信息，排名100之后没有
        for i in range(100):
            u=allUniv[i]
            t.write('\n{1:^4}{2:{0}^12}{3:{0}^4}{4:{0}^10}{5:{0}^8.5}{6:{0}^8}'.format(chr(12288),u[0],u[1],u[2],u[3],float(u[4]),u[5]))
        for i in range(100,len(allUniv)):
            u=allUniv[i]
            t.write('\n{1:^4}{2:{0}^12}{3:{0}^4}{4:{0}^10}{5:{0}^8.5}'.format(chr(12288),u[0],u[1],u[2],u[3],float(u[4])))
    t.close()

#为url、txtPath赋值，为程序提供数据源和数据写入位置
if __name__=="__main__":
    url = 'https://www.shanghairanking.cn/rankings/bcur/2020'
    txtPath = r'C:\Users\Administrator\Desktop\test.txt'
    html = getHTMLText(url)
    soup = BeautifulSoup(html, 'html.parser') #非自定义函数
    fillUnivList(soup)
    printUnivListInText(txtPath)  # 可在参数中填入参数num，返回指定排名范围内的信息

#要获取的数据在网页中嵌套的形式是：
"""
<tr data-v-45ac69d8>

<td data-v-45ac69d8>
1           # 排名
</td>

<td class="align-left" data-v-45ac69d8>
<a href="/institution/tsinghua-university" data-v-45ac69d8>
清华大学    #学校名称
</a>
<p style="display:none" data-v-45ac69d8></p>
</td>

<td data-v-45ac69d8>
北京      #省份
</td>

<td data-v-45ac69d8>
综合      #类型
</td>

<td data-v-45ac69d8>
852.5    #总分
</td>

<td data-v-45ac69d8>
38.2       #办学层次
</td>

</tr>
"""