爬取中国最好大学排名——python+requests+bs4

爬虫实例来源:中国大学mooc平台 北京理工大学 嵩天老师的《Python程序语言设计基础》课程

talk is cheep,show me the code:

# coding=utf-8
import requests
from bs4 import BeautifulSoup

allUniv=[]  #all university

#requests库获取url页面的全部内容,作为返回值返回
def getHTMLText(url,timeout=30):
    try:
        r=requests.get(url)
        r.raise_for_status()
        r.encoding='utf-8'
        return r.text
    except:
        return ""

#将requests库获取的数据,交由bs4清洗,提取出<tr>中的<td>(表格)中的<a>标签中的信息,每一行的数据先按列存入singleUniv一维数组,然后按行存入allUniv二维数组中

def fillUnivList(soup):
    data=soup.find_all('tr')#找到所有的tr,一个tr包含一所学校的所有信息:"排名","学校名称","省份","类型","总分","办学层次"
    for tr in data:
        ltd=tr.find_all('td')#找到tr中所有的td,一个td包含学校的一个具体信息,如排名、学校名称等
        if len(ltd)==0: #如果tr中没有找到td,进入下一次循环
            continue
        singleUniv=[]
        for td in ltd:
            tda=td.find('a')    #寻找td中的<a>标签,其中包含学校名称,实际网站中只会有一个<a>标签,使用find()即可,存入tda中
            if tda:
                UniName=tda.string  #如果tda不为空,将学校名称赋值给UniName,下一步存入singleUniv中
                singleUniv.append(UniName)
            elif td.string.strip(): #strip方法去除两侧(不包含内部)空格的字符串,如果不为空,存入singleUniv中
                singleUniv.append(td.string.strip())
        allUniv.append(singleUniv)

#将allUniv中的数据写入txtPath路径所指的txt文件中,并使用string.format格式化每条数据
#也可在参数中添加num参数,控制写入的数据量——前num名
def printUnivListInText(txtPath):
    with open(txtPath,'w+',encoding='utf-8') as t:
        s='{1:^4}{2:{0}^10}{3:{0}^7}{4:{0}^6}{5:{0}^8}{6:{0}^8}'.format(chr(12288),"排名","学校名称","省份","类型","总分","办学层次")
        t.write(s)
        #排名1到100有办学层次的信息,排名100之后没有
        for i in range(100):
            u=allUniv[i]
            t.write('\n{1:^4}{2:{0}^12}{3:{0}^4}{4:{0}^10}{5:{0}^8.5}{6:{0}^8}'.format(chr(12288),u[0],u[1],u[2],u[3],float(u[4]),u[5]))
        for i in range(100,len(allUniv)):
            u=allUniv[i]
            t.write('\n{1:^4}{2:{0}^12}{3:{0}^4}{4:{0}^10}{5:{0}^8.5}'.format(chr(12288),u[0],u[1],u[2],u[3],float(u[4])))
    t.close()

#为url、txtPath赋值,为程序提供数据源和数据写入位置
if __name__=="__main__":
    url = 'https://www.shanghairanking.cn/rankings/bcur/2020'
    txtPath = r'C:\Users\Administrator\Desktop\test.txt'
    html = getHTMLText(url)
    soup = BeautifulSoup(html, 'html.parser') #非自定义函数
    fillUnivList(soup)
    printUnivListInText(txtPath)  # 可在参数中填入参数num,返回指定排名范围内的信息

#要获取的数据在网页中嵌套的形式是:
"""
<tr data-v-45ac69d8>

<td data-v-45ac69d8>
1           # 排名
</td>

<td class="align-left" data-v-45ac69d8>
<a href="/institution/tsinghua-university" data-v-45ac69d8>
清华大学    #学校名称
</a>
<p style="display:none" data-v-45ac69d8></p>
</td>

<td data-v-45ac69d8>
北京      #省份
</td>

<td data-v-45ac69d8>
综合      #类型
</td>

<td data-v-45ac69d8>
852.5    #总分
</td>

<td data-v-45ac69d8>
38.2       #办学层次
</td>

</tr>
"""

中国最好大学排名主页
数据展示

  • 3
    点赞
  • 3
    收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:数字20 设计师:CSDN官方博客 返回首页
评论 3
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值