import requests
from bs4 import BeautifulSoup
import bs4
def getHTMLText(url):
try:
r = requests.get(url, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""
def fillUnivList(ulist, html):
soup = BeautifulSoup(html, "html.parser")
for tr in soup.find('tbody').children:
if isinstance(tr, bs4.element.Tag):
tds = tr('td')
hdfd = tds[0].find('div')
tt = hdfd.string.split()
ff = "".join(tt)
attr = tds[1].find('a')
hh = tds[4].string.split()
hg = "".join(hh)
shf=tds[2].text.split()
shfn="".join(shf)
ulist.append([ff, attr.string,shfn,hg])
def printUnivList(ulist, num):
tplt = "{0:^10}\t{1:{4}^10}\t{2:^10}\t{3:^10}"
print(tplt.format("排名","学校名称","省份","总分", chr(12288)))
with open('save.txt', 'w+', encoding='utf-8') as f:
f.write(tplt.format("排名","学校名称","省份","总分", chr(12288)))
f.write('\n')
for i in range(num):
u = ulist[i]
print(tplt.format(u[0], u[1], u[2],u[3],chr(12288)))
with open('save.txt', 'a', encoding='utf-8') as f:
f.write(tplt.format(u[0], u[1], u[2],u[3],chr(12288)))
f.write('\n')
def main():
with open('save.txt', 'w+', encoding='utf-8') as f:
f.write("排名,学校,省份,总分\n")
f.close()
uinfo = []
url = 'https://www.shanghairanking.cn/rankings/bcur/2021'
html = getHTMLText(url)
fillUnivList(uinfo, html)
printUnivList(uinfo, 20)
main()
排名 学校名称 省份 总分
1 清华大学 北京 969.2
2 北京大学 北京 855.3
3 浙江大学 浙江 768.7
4 上海交通大学 上海 723.4
5 南京大学 江苏 654.8
6 复旦大学 上海 649.7
7 中国科学技术大学 安徽 577.0
8 华中科技大学 湖北 574.3
9 武汉大学 湖北 567.9
10 西安交通大学 陕西 537.9
11 哈尔滨工业大学 黑龙江 522.6
12 中山大学 广东 519.3
...
19 北京理工大学 北京 474.0
20 南开大学 天津 465.3
Output is truncated. View as a scrollable element or open in a text editor. Adjust cell output settings...