Python爬虫学习日志（6）

编写爬虫

1.分析

1. 最好大学网
   2019中国大学排名：http://www.zuihaodaxue.com/Greater_China_Ranking2019_0.html

2. 功能描述

• 输入：大学排名URL连接

• 输出：大学排名信息（排名，大学名称，总分）

• 技术路线：requests-bs4

• 定向爬虫：仅对输入URL进行爬取，不扩展爬取

3. 爬虫步骤

• 步骤1：从网络上获取大学排名网页内容。getHTMLText()
• 步骤2：提取网页内容中信息到合适的数据结构。fillUnivList()
• 步骤3：利用数据结构展示并输出结果。printUnivList()

2.源代码

1. 网页信息

• tbody -> tr -> td
  

2. 程序代码

• 先定义函数，写好程序总体框架。
• 再对每个函数的内容依次编写。
  

import requests
from bs4 import BeautifulSoup
import bs4
def getHTMLText(url):
    try:
        r = requests.get(url, timeout= 30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

def fillUnivList(ulist, html):
    soup = BeautifulSoup(html, "html.parser")
    for tr in soup.find('tbody'): #for tr in soup.find('tbody').children:时报错
        if isinstance(tr, bs4.element.Tag):
            tds = tr('td')
            ulist.append([tds[0].string,tds[1].string,tds[2].string])
    pass

def printUnivList(ulist, num):
    print("{:^10}\t{:^6}\t{:^10}".format("排名","学校名称","地域"))#使用槽和format将信息对应
    for i in range(num):
        u = ulist[i]
        print("{:^10}\t{:^6}\t{:^10}".format(u[0],u[1],u[2]))
    print("Suc" + str(num))

def main():
    uinfo = []
    url = "http://www.zuihaodaxue.com/Greater_China_Ranking2019_0.html"
    html = getHTMLText(url)
    fillUnivList(uinfo, html)
    printUnivList(uinfo, 20)#只爬取前20所大学

main()

3. 输出结果：

    排名    	 学校名称 	    地域    
    1     	清华大学（北京）	    大陆    
    2     	 北京大学 	    大陆    
    3     	香港中文大学	    香港    
    4     	 浙江大学 	    大陆    
    5     	 香港大学 	    香港    
    6     	中国科学技术大学	    大陆    
    7     	上海交通大学	    大陆    
    8     	 复旦大学 	    大陆    
    9     	清华大学（新竹）	    台湾    
    10    	 台湾大学 	    台湾    
    11    	北京师范大学	    大陆    
    12    	香港城市大学	    香港    
    13    	香港科技大学	    香港    
    14    	 南京大学 	    大陆    
    15    	华中科技大学	    大陆    
    16    	中山大学（广州）	    大陆    
    17    	香港理工大学	    香港    
    18    	交通大学（新竹）	    台湾    
    19    	哈尔滨工业大学	    大陆    
    20    	澳门科技大学	    澳门    
Suc20

3.程序优化

1. 中文对齐问题
   
2. 解决方法

• 用中字字符的空格填充

• chr(12288)表示中文字符空格

  修改部分：

def printUnivList(ulist, num):
    tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}" #填充时使用format的第三个变量填充
    print(tplt.format("排名","学校名称","地域",chr(12288)))#{3}:chr(12288)代表中文字符空格
    for i in range(num):
        u = ulist[i]
        print(tplt.format(u[0],u[1],u[2],chr(12288)))
    print("Suc" + str(num))

3. 输出结果

 排名    	　　　学校名称　　　	    地域    
    1     	　清华大学（北京）　	    大陆    
    2     	　　　北京大学　　　	    大陆    
    3     	　　香港中文大学　　	    香港    
    4     	　　　浙江大学　　　	    大陆    
    5     	　　　香港大学　　　	    香港    
    6     	　中国科学技术大学　	    大陆    
    7     	　　上海交通大学　　	    大陆    
    8     	　　　复旦大学　　　	    大陆    
    9     	　清华大学（新竹）　	    台湾    
    10    	　　　台湾大学　　　	    台湾    
    11    	　　北京师范大学　　	    大陆    
    12    	　　香港城市大学　　	    香港    
    13    	　　香港科技大学　　	    香港    
    14    	　　　南京大学　　　	    大陆    
    15    	　　华中科技大学　　	    大陆    
    16    	　中山大学（广州）　	    大陆    
    17    	　　香港理工大学　　	    香港    
    18    	　交通大学（新竹）　	    台湾    
    19    	　哈尔滨工业大学　　	    大陆    
    20    	　　澳门科技大学　　	    澳门    
Suc20