网络爬虫-python

###实例：中国大学排名
import bs4
import requests
from bs4 import BeautifulSoup
def getHTMLText(url):
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ''
    
def fillUnivList(ulist,html):
    soup = BeautifulSoup(html,"html.parser")
    for tr in soup.find('tbody').children:
        if isinstance(tr,bs4.element.Tag):   ##在标签内
            tds = tr('td')
            ulist.append([tds[0].contents[0].strip(),tds[1].a.string,tds[4].contents[0].strip()])
            
def printUnivList(ulist,num):
    print("{: <4}\t{: <25}\t{: <8}".format('排名','学校','总分'))
    for i in range(num):
        u = ulist[i]
        print("{: <4}\t{: <20}\t{: <8}".format(u[0],u[1],u[2]))
    print("Suc" + str(num))
def main():
    uinfo = []
    url = 'https://www.shanghairanking.cn/rankings/bcur/2020'
    html = getHTMLText(url)
    fillUnivList(uinfo,html)
    printUnivList(uinfo,20)  #20 univs
main()

排名 学校 总分
1 清华大学 852.5
2 北京大学 746.7
3 浙江大学 649.2
4 上海交通大学 625.9
5 南京大学 566.1
6 复旦大学 556.7
7 中国科学技术大学 526.4
8 华中科技大学 497.7
9 武汉大学 488
10 中山大学 457.2
11 西安交通大学 452.5
12 哈尔滨工业大学 450.2
13 北京航空航天大学 445.1
14 北京师范大学 440.9
15 同济大学 439
……