中国大学排名定向爬虫(实例1)

中国大学排名定向爬虫：

（1）  爬取网址：http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html

（2）  程序的结构设计：

步骤1：从网络上获取大学排名网页内容       getHTMLText()

 

def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

 

步骤2：提取网页内容中信息到合适的数据结构 fillUnivList()

def fillUnivList(ulist, html):
    soup = BeautifulSoup(html, "html.parser")
    for tr in soup.find('tbody').children:
        if isinstance(tr, bs4.element.Tag):  #判断是否是标签类型，如果不是过滤掉
            tds = tr('td')
            ulist.append([tds[0].string, tds[1].string, tds[3].string])

 

步骤3：利用数据结构展示并输出结果         printUnivList()

def printUnivList(ulist, num):
    # 格式化输出
    tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"

   #中英文混合输出解决方法
    print(tplt.format("排名", "学校名称", "总分", chr(12288)))
    for i in range(num):
        u = ulist[i]
        print(tplt.format(u[0], u[1], u[2], chr(12288)))

 

（3）  整体代码：

# CrawUnivRankingB.py
import requests
from bs4 import BeautifulSoup
import bs4


def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""


def fillUnivList(ulist, html):
    soup = BeautifulSoup(html, "html.parser")
    for tr in soup.find('tbody').children:
        if isinstance(tr, bs4.element.Tag):
            tds = tr('td')
            ulist.append([tds[0].string, tds[1].string, tds[3].string])


def printUnivList(ulist, num):
    tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"
    print(tplt.format("排名", "学校名称", "总分", chr(12288)))
    for i in range(num):
        u = ulist[i]
        print(tplt.format(u[0], u[1], u[2], chr(12288)))


def main():
    uinfo = []
    url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'
    html = getHTMLText(url)
    fillUnivList(uinfo, html)
    printUnivList(uinfo, 20)  # 20 univs


main()

 

（4）  爬取结果：

    排名           　　　学校名称　　　           总分   

    1       　　　清华大学　　　          95.9  

    2       　　　北京大学　　　          82.6  

    3       　　　浙江大学　　　           80   

    4       　　上海交通大学　　          78.7  

    5       　　　复旦大学　　　          70.9  

    6       　　　南京大学　　　          66.1  

    7       　中国科学技术大学　          65.5  

    8       　哈尔滨工业大学　　          63.5  

    9       　　华中科技大学　　          62.9  

    10      　　　中山大学　　　          62.1  

    11      　　　东南大学　　　          61.4  

    12      　　　天津大学　　　          60.8  

    13      　　　同济大学　　　          59.8  

    14      　北京航空航天大学　          59.6  

    15      　　　四川大学　　　          59.4  

    16      　　　武汉大学　　　          59.1  

    17      　　西安交通大学　　          58.9  

    18      　　　南开大学　　　          58.3  

    19      　　大连理工大学　　          56.9   

    20      　　　山东大学　　　          56.3   

本文参考：中国大学mooc 北京理工大学 Python网络爬虫与信息提取 课程

链接：http://www.icourse163.org/learn/BIT-1001870001?tid=1001962001#/learn/content?type=detail&id=1002703035&cid=1003101004&replay=true