目标:定向爬取大学排名信息
技术路线:requests-bs4
结构设计:
1. 从网络上获取大学排名网页内容
2. 提取网页内容中信息到合适的数据结构
3. 利用数据结构展示并输出结果
具体实现(python3.6)
安装requests库
安装bs4库
import requests
from bs4 import BeautifulSoup
import bs4
获取url信息,输出URL内容
def getHTMLText(url):
try:
r=requests.get(url,timeout=30)
r.raise_for_status()
r.encoding=r.apparent_encoding
return r.text
except:
return ""
将html页面放在一个list列表中
def fillUnivList(ulist,html):
soup=BeautifulSoup(html,"html.parser")
#解析tbody的位置,并且遍历其孩子节点,每一个tr就是一所大学对应的信息
for tr in soup.find('tbody').children:
#过滤掉非标签类型的其他信息
if isinstance(tr,bs4.element.Tag):
#查询tr标签中的td标签,存在tds中
tds=tr('td')
#ulist中增加需要的对应字段,大学排名,大学名称,大学排分
ulist.append([tds[0].string,tds[1].string,tds[2].string])
将列表中信息打印出来
def printUnivList(ulist,num):
tplt="{0:^10}\t{1:{3}^10}\t{2:^10}"
print("tplt".format("排名","学校名称","总分",chr(12288)))
for i in range(num):
u=ulist[i]
print(tplt.format(u[0],u[1],u[2],chr(12288)))
主函数
def main():
#将大学信息放在一个列表中
uinfo=[]
url="http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html"
html=getHTMLText(url)
fillUnivList(uinfo,html)
printUnivList(uinfo,20)
main()