爬虫学习(三)
下面写出一个基础大学排名代码进行学习
步骤1:大学排名连接
步骤2:大学排名数据结构
步骤3:利用数据结构进行输出
import requests
import bs4
from bs4 import BeautifulSoup
def geth(url):
try:
r=requests.get(url,timeout=30)
r.raise_for_status()
r.encoding=r.apparent_encoding
return r.text
except:
return ""
return ""
def fillu(ulist,html):
soup=BeautifulSoup(html,"html.parser")
for tr in soup.find("tbody").children:
if isinstance(tr,bs4.element.Tag):
tds=tr("td")
ulist.append([tds[0].string,tds[1].string,tds[2].string,tds[3].string,tds[4].string])
pass
def printu(ulist,num):
print("{:^10}\t{:^6}\t{:^10}\t{:^15}\t{:^2}\t".format("排名","学校名称","省份","分数","占取率"))
for i in range(num):
u = ulist[i]
print("{:^10}\t{:^6}\t{:^10}\t{:^9}\t{:^13}\t".format(u[0],u[1],u[2],u[3],u[4]))
print("Suc"+str(num))
def main():
uinfo=[]
url="http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html"
html=geth(url)
fillu(uinfo,html)
printu(uinfo,100)
main()
输出为:
上述采用了4个方法
def geth(url):
构造了r.text,返回网址页面内容,进行返回保存,并且判断是否有误,如果有误则返回“”
def fillu(ulist,html):
则是解析网页构造,上述代码则是,在tbody里面寻找tr,再在tr里面找到td,将td里面的内容保存在ulist里面
def printu(ulist,num):
进行一个循环输出,依次将td里面的内容进行输出