程序的结构设计:
-
一、从网络上获取大学排名网页内容
二、提取网页内容中信息到合适的数据结构
希望提取的结果是列表的形式,所以选择二维列表
三、利用数据结构展示并输出结果
import requests
from bs4 import BeautifulSoup
import bs4
def getHTMLText(url):
try:
r = requests.get(url,timeout = 30)
r.raise_for_status() #用来产生异常信息
r.encoding = r.apparent_encoding
return r.text
except:
return ""
def fillUnivList(ulist,html):
soup = BeautifulSoup(html,"html.parser")
for tr in soup.find('tbody').children: #每个tr是一所大学的信息,
if isinstance(tr,bs4.element.Tag):#子节点tr有可能是字符串所以要过滤掉字符串,只要tr标签
tds = tr('td')#将td标签的内容存入tds
ulist.append([tds[0].string,tds[1].string,tds[2].string])#将td标签里的内容存入列表,分别是大学排名、名称
pass
def printUnivList(ulist,num):
print("{:^10}\t{:^6}\t{:^10}".format("排名","学校名称","总分"))
for i in range(num):
u = ulist[i]
print("{:^10}\t{:^6}\t{:^10}".format(u[0],u[1],u[2]))
def main():
uinfo = []
url = 'http://www.zuihaodaxue.com/ARWU2019.html'
html = getHTMLText(url)
fillUnivList(uinfo,html)
printUnivList(uinfo,20) #20 universities
main()
这时候报错,显示NoneType类型没有处理,所以在printUnivList函数里,输出之前需要加上一个判断为空的If