使用Python的request库编写一个小爬虫

import requests
from bs4 import BeautifulSoup
import bs4

def getHTMLText(url):#爬取页面数据
    try:
        r=requests.get(url,timeout=30) #获取页面
        r.raise_for_status()  #产生异常信息
        r.encoding=r.apparent_encoding #修改编码
        return r.text
    except:
        return ""
def fillUnivList(ulist,html):#提取html页面中数据,添加到列表中
    soup=BeautifulSoup(html,"html.parser")#采用html的解析器
    for tr in soup.find('tbody').children:#从数据中找到'tbody'标签中的tr标签
        if isinstance(tr,bs4.element.Tag):#检测tr标签的类型，判断tr标签是否是bs4类型
            tds=tr('td')#找到每一个tr标签中的td标签
            ulist.append([tds[0].string,tds[1].string ,tds[2].string])#在ulist中增加三个量分别存储排名，学校名称，得分

def printUnivList(ulist,num):#打印爬取的页面信息
    print("{:^10}\t{:^6}\t{:^10}".format("排名","学校名称","得分"))#格式化答应表头
    for i in range(num):   #输出num组数据
        u=ulist[i]  #定义一个u
        print("{:^10}\t{:^6}\t{:^10}".format(u[0],u[1],u[2]))#格式化输出大学排名
    print("Suc"+str(num))
def main():
    uinfo=[] #定义一个列表存储大学信息
    url='http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'
    html=getHTMLText(url)  #从url中获取html
    fillUnivList(uinfo,html)#调用解析函数解析html，将解析的数据存储在uinfo中
    printUnivList(uinfo,20)#打印uinfo中信息
main()

欢迎大家关注我的微信公众号，我会尽我所能为大家解答各种问题