python爬虫分析

爬虫学习（三）
下面写出一个基础大学排名代码进行学习

步骤1：大学排名连接
步骤2：大学排名数据结构
步骤3：利用数据结构进行输出

import requests
import bs4
from bs4 import BeautifulSoup

def geth(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return ""
    return ""
def fillu(ulist,html):
    soup=BeautifulSoup(html,"html.parser")
    for tr in soup.find("tbody").children:
        if isinstance(tr,bs4.element.Tag):
            tds=tr("td")
            ulist.append([tds[0].string,tds[1].string,tds[2].string,tds[3].string,tds[4].string])

    pass
def printu(ulist,num):
    print("{:^10}\t{:^6}\t{:^10}\t{:^15}\t{:^2}\t".format("排名","学校名称","省份","分数","占取率"))
    for i in range(num):
        u = ulist[i]
        print("{:^10}\t{:^6}\t{:^10}\t{:^9}\t{:^13}\t".format(u[0],u[1],u[2],u[3],u[4]))

    print("Suc"+str(num))
def main():
    uinfo=[]
    url="http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html"
    html=geth(url)
    fillu(uinfo,html)
    printu(uinfo,100)
main()

输出为：

上述采用了4个方法
def geth（url）：
构造了r.text，返回网址页面内容，进行返回保存，并且判断是否有误，如果有误则返回“”
def fillu(ulist,html):
则是解析网页构造，上述代码则是，在tbody里面寻找tr，再在tr里面找到td，将td里面的内容保存在ulist里面
def printu(ulist,num):
进行一个循环输出，依次将td里面的内容进行输出