Python爬虫 中国大学排名爬虫

案例：

import requests
from bs4 import BeautifulSoup
import bs4

def getHTMLText(url):
    #爬取最好大学排名网站内容
    try:
        r = requests.get(url, timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

def fillUnivList(ulist, html):
    #将爬取的内容中的所需内容找出并存入列表
    soup = BeautifulSoup(html, "html.parser")
    for tr in soup.find('tbody').children:
        if isinstance(tr, bs4.element.Tag):
            tds = tr('td')
            ulist.append([tds[0].string, tds[1].string, tds[3].string])

def printUnivList(ulist, num):
    #将信息以列表的形式输出
    print("{:^10}\t{:^6}\t{:^10}".format("排名", "学校名称", "总分"))
    for i in range(num):
        u = ulist[i]
        print("{:^10}\t{:^6}\t{:^10}".format(u[0], u[1], u[2]))

def main():
    uinfo = []
    url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'
    html = getHTMLText(url)
    fillUnivList(uinfo, html)
    printUnivList(uinfo, 20)

main()

输出：

    排名    	 学校名称 	    总分    
    1     	 清华大学 	   95.9   
    2     	 北京大学 	   82.6   
    3     	 浙江大学 	    80    
    4     	上海交通大学	   78.7   
    5     	 复旦大学 	   70.9   
    6     	 南京大学 	   66.1   
    7     	中国科学技术大学	   65.5   
    8     	哈尔滨工业大学	   63.5   
    9     	华中科技大学	   62.9   
    10    	 中山大学 	   62.1   
    11    	 东南大学 	   61.4   
    12    	 天津大学 	   60.8   
    13    	 同济大学 	   59.8   
    14    	北京航空航天大学	   59.6   
    15    	 四川大学 	   59.4   
    16    	 武汉大学 	   59.1   
    17    	西安交通大学	   58.9   
    18    	 南开大学 	   58.3   
    19    	大连理工大学	   56.9   
    20    	 山东大学 	   56.3   
>>> 

 

输出对其优化（因为自动补充的是英文字符所以输出显示会不是很整齐  可以使用chr（12288）来进行中文空格填充）：

import requests
from bs4 import BeautifulSoup
import bs4

def getHTMLText(url):
    #爬取最好大学排名网站内容
    try:
        r = requests.get(url, timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

def fillUnivList(ulist, html):
    #将爬取的内容中的所需内容找出并存入列表
    soup = BeautifulSoup(html, "html.parser")
    for tr in soup.find('tbody').children:
        if isinstance(tr, bs4.element.Tag):
            tds = tr('td')
            ulist.append([tds[0].string, tds[1].string, tds[3].string])

def printUnivList(ulist, num):
    #将信息以列表的形式输出
    tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"  #用中文空格进行填充
    print(tplt.format("排名", "学校名称", "总分", chr(12288)))
    for i in range(num):
        u = ulist[i]
        print(tplt.format(u[0], u[1], u[2], chr(12288)))

def main():
    uinfo = []
    url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'
    html = getHTMLText(url)
    fillUnivList(uinfo, html)
    printUnivList(uinfo, 20)

main()

输出：

    排名    	　　　学校名称　　　	    总分    
    1     	　　　清华大学　　　	   95.9   
    2     	　　　北京大学　　　	   82.6   
    3     	　　　浙江大学　　　	    80    
    4     	　　上海交通大学　　	   78.7   
    5     	　　　复旦大学　　　	   70.9   
    6     	　　　南京大学　　　	   66.1   
    7     	　中国科学技术大学　	   65.5   
    8     	　哈尔滨工业大学　　	   63.5   
    9     	　　华中科技大学　　	   62.9   
    10    	　　　中山大学　　　	   62.1   
    11    	　　　东南大学　　　	   61.4   
    12    	　　　天津大学　　　	   60.8   
    13    	　　　同济大学　　　	   59.8   
    14    	　北京航空航天大学　	   59.6   
    15    	　　　四川大学　　　	   59.4   
    16    	　　　武汉大学　　　	   59.1   
    17    	　　西安交通大学　　	   58.9   
    18    	　　　南开大学　　　	   58.3   
    19    	　　大连理工大学　　	   56.9   
    20    	　　　山东大学　　　	   56.3   
>>>