经典爬虫:爬取高校排名

前言

本文介绍北京理工大学崇天老师的一篇爬虫,爬取的目标站点是"最好大学网".附上课程URL=‘http://www.icourse163.org/course/BIT-1001870001’.

HTML下载器

HTML下载器注意到get函数的两个方法,raise_for_status()和apparent_encoding,
raise_for_status()可以在我们发送了一个错误请求(一个 4XX 客户端错误，或者 5XX 服务器错误响应)的时候抛出异常,返回错误信息,如下图:

而apparent_encoding使用可以让你选择网站给你备用的编码方式,如本例子中的使用场景:

其中的’ISO’为国际码,不能为人类识别,感兴趣的同学可以拿本例试试.最后附上下载器:

def getHTML(url):
    try:
        r = requests.get(url)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

HTML解析器

解析器的代码非常健壮,各个语法使用非常精准.

def parseHTML(html, ulist):
    soup = BeautifulSoup(html, 'html.parser')
    for tr in soup.find('tbody').children:
        if isinstance(tr, bs4.element.Tag):
            ulist.append([tr('td')[0].string, tr('td')[1].string, tr('td')[3].string])

排行格式化输出器

这里主要要解决中西文的格式化输出问题,用chr(12288)可以让输出的字符规整对其,这个方法非常行之有效.

def printUlist(ulist, num):
    tplp = "{0:^10}\t{1:{3}^10}\t{2:^10}"
    print(tplp.format("排名", "学校", "评分", chr(12288)))#采用中文字符的空格填充chr(12288)
    for i in range(num):
        u = ulist[i]
        print(tplp.format(u[0], u[1], u[2], chr(12288)))

总结

麻雀虽小,五脏俱全.这个代码的许多技巧都非常重要,可以成为我们以后解决问题的利器.最后附上全部代码:

import bs4
import requests
from bs4 import BeautifulSoup

def getHTML(url):
    try:
        r = requests.get(url)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

def parseHTML(html, ulist):
    soup = BeautifulSoup(html, 'html.parser')
    for tr in soup.find('tbody').children:
        if isinstance(tr, bs4.element.Tag):
            ulist.append([tr('td')[0].string, tr('td')[1].string, tr('td')[3].string])

def printUlist(ulist, num):
    tplp = "{0:^10}\t{1:{3}^10}\t{2:^10}"
    print(tplp.format("排名", "学校", "评分", chr(12288)))#采用中文字符的空格填充chr(12288)
    for i in range(num):
        u = ulist[i]
        print(tplp.format(u[0], u[1], u[2], chr(12288)))


def main():
    ulist = []
    url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'
    html = getHTML(url)
    parseHTML(html, ulist)
    printUlist(ulist, 20)

main()