菜鸟爬虫入门实战-2

“中国大学排名定向爬虫”

我们在“最好大学网”上获取今年的大学排名：http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html
我们在爬取网站时要先查看网站的***Robets***协议！

步骤1：从网络上获取大学排名的网页内容：getHTMLText()

#获取页面信息
def getHTMLText(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return ''

步骤2：提取网页内容中信息到合适的数据结构：fillUnivList()

#将数据存到list中
def fillUnivList(ulist,html):
    soup=BeautifulSoup(html,'html.parser')
    #查看HTML源码发现每一所大学都在tbody标签中，这里一个tr表示一所大学
    for tr in soup.find('tbody').children:
        if isinstance(tr,bs4.element.Tag):#判断是否为标签类型，过滤掉字符串
            tds=tr('td')
            ulist.append([tds[0].string,tds[1].string,tds[2].string])

附上bs4中.string与.text的区别：https://www.cnblogs.com/gl1573/p/9958716.html

步骤3：利用数据结构展示并输出结果printUnivList()

#将num个list中的数据打印显示出来,可视化输出
def printUnivList(ulist,num):
    #打印表头
    print('{:^10}\t{:^6}\t{:^10}'.format('排名','学校名称','总分'))
    for i in range(num):
        u=ulist[i]
        print('{:^10}\t{:^6}\t{:^10}'.format(u[0],u[1],u[2]))

步骤4：主函数

def main():
    uinfo=[]#待放入数据的列表
    url='http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'
    html=getHTMLText(url)
    fillUnivList(uinfo,html)
    printUnivList(uinfo,20)#打印20组数据

尝试着自己写一下这个简单爬虫

from urllib.request import urlopen
from bs4 import BeautifulSoup
html = urlopen("http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html")
bsOBJ = BeautifulSoup(html,"html.parser")
EveryOne = bsOBJ.findAll("tr","alt")
for i in range(50):
    print(EveryOne[i].findAll("td")[0].get_text())
    print(EveryOne[i].findAll("td")[1].div.get_text())
    print(EveryOne[i].findAll("td")[2].get_text())