网络爬虫-python

最新推荐文章于 2024-10-10 11:35:14 发布

菜菜编程

最新推荐文章于 2024-10-10 11:35:14 发布

阅读量98

点赞数

分类专栏：爬虫学习文章标签：网络 url

本文链接：https://blog.csdn.net/qq_45153782/article/details/109706037

版权

爬虫学习专栏收录该内容

1 篇文章 0 订阅

订阅专栏

全国大学排名网络爬虫

先网络中输入全国大学排名，可以查看他的源代码，如下图，大学的信息包含在<tbody>标签下，通过使用.children()来遍历每个大学，具体代码如下：

在这里插入图片描述

###实例：中国大学排名
import bs4
import requests
from bs4 import BeautifulSoup
def getHTMLText(url):
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ''
    
def fillUnivList(ulist,html):
    soup = BeautifulSoup(html,"html.parser")
    for tr in soup.find('tbody').children:
        if isinstance(tr,bs4.element.Tag):   ##在标签内
            tds = tr('td')
            ulist.append([tds[0].contents[0].strip(),tds[1].a.string,tds[4].contents[0].strip()])
            
def printUnivList(ulist,num):
    print("{: <4}\t{: <25}\t{: <8}".format('排名','学校','总分'))
    for i in range(num):
        u = ulist[i]
        print("{: <4}\t{: <20}\t{: <8}".format(u[0],u[1],u[2]))
    print("Suc" + str(num))
def main():
    uinfo = []
    url = 'https://www.shanghairanking.cn/rankings/bcur/2020'
    html = getHTMLText(url)
    fillUnivList(uinfo,html)
    printUnivList(uinfo,20)  #20 univs
main()

排名学校总分
1 清华大学 852.5
2 北京大学 746.7
3 浙江大学 649.2
4 上海交通大学 625.9
5 南京大学 566.1
6 复旦大学 556.7
7 中国科学技术大学 526.4
8 华中科技大学 497.7
9 武汉大学 488
10 中山大学 457.2
11 西安交通大学 452.5
12 哈尔滨工业大学 450.2
13 北京航空航天大学 445.1
14 北京师范大学 440.9
15 同济大学 439
……