Python爬虫学习笔记(实例：中国好大学排名定向爬虫)

#定向爬虫，即指定URL
#本实例为 中国好大学排名 定向爬虫
import requests
from bs4 import BeautifulSoup
import bs4

#从网络上获取大学排名网页的内容
def getHTMLText(url):
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

#提取网页内容中信息到合适的数据结构（列表）
def fillUnivList(ulist,html):
    soup = BeautifulSoup(html,"html.parser")
    for tr in soup.find('tbody').children: #找到tbody标签并遍历它的子标签
        if isinstance(tr,bs4.element.Tag): #过滤非标签字符并检测tr标签类型
            tds = tr('td') #查找tr中所有的td标签并存为列表类型
            ulist.append([tds[0].string,tds[1].string,tds[2].string]) #列表增加大学排名，名称，评分 的td标签
   # pass

#利用数据结构（列表）展示并输出结果
def printUnivList(ulist,num):
    tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}" #设定宽度，顺序
    print(tplt.format("排名","学校名称","总分",chr(12288))) #定义并打印表头，采用中文字符空格填充chr(12288)

    for i in range(num):
        u = ulist[i]
        print(tplt.format(u[0], u[1], u[2],chr(12288)))

def main():
    uinfo = []
    url = "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html"
    html = getHTMLText(url) #获取HTML代码
    fillUnivList(uinfo, html) #将HTML代码放入uinfo变量
    printUnivList(uinfo, 20) #打印前20所大学信息

main() #运行