中国大学排名爬虫

根据http://www.zuihaodaxue.cn/zuihaodaxuedaxuepaiming2016.html来获取310国内大学的排名并将其打印出来。
大学排名爬虫的构建需要三个步骤
1.从网络上获取网页内容
2.分析网页内容并提取有用数据到恰当的数据结构中
3.利用数据结构暂时或进一步处理数据
利用request库爬去网页内容，使用beautifulsoup4库分析网页中的数据，提取相关信息。

可以看到数据被一个个 <tr></tr>封装起来,每列内容用<td></td>表示
首先需要找到<tr></tr>标签，并遍历其中的每个<td></td>获取其中的数据

allUniv = [] #存储全部表格数据，二维列表
def fillUnivList(soup):
    data = soup.find_all('tr')#找到所有tr标签
    for tr in data:
        ltd = tr.find_all('td')#在每个tr标签中找到所有td标签
        if len(ltd)==0:
            continue
        singleUniv =[]
        for td in ltd:
            singleUniv.append(td.string)#提取td标签中的所有信息
        allUniv.append(singleUniv)

修改完善后的代码：

import requests
from bs4 import BeautifulSoup
allUniv = [] #存储全部表格数据，二维列表
def getHTMLText(url):
    try:
        r= requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = 'utf-8'
        return r.text
    except:
        return ""
def fillUnivList(soup):
    data = soup.find_all('tr')#找到所有tr标签
    for tr in data:
        ltd = tr.find_all('td')#在每个tr标签中找到所有td标签
        if len(ltd)==0:
            continue
        singleUniv =[]
        for td in ltd:
            singleUniv.append(td.string)#提取td标签中的所有信息
        allUniv.append(singleUniv)
def printUnivList(num):
    print("{1:^2}{2:{0}^10}{3:{0}^6}{4:{0}^4}{5:{0}^10}".format(chr(12288),"排名","学校名称","省市","总分","培养规模"))
    for i in range(num):
        u=allUniv[i]
        print("{1:^4}{2:{0}^10}{3:{0}^5}{4:{0}^8.1f}{5:{0}^10}".format(chr(12288),u[0],u[1],u[2],eval(u[3]),u[6]))
def main(num):
    url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'
    html = getHTMLText(url)
    soup = BeautifulSoup(html, "html.parser")
    fillUnivList(soup)
    printUnivList(num)
main(10)

运行一下查看结果

这里我们看到中国前十的大学，
修改main()我们可以看到更多大学的排名。