中国大学软科排名(Request-BeautifulSoup两种方式按省份爬取)

最新推荐文章于 2024-09-13 08:52:28 发布

Sunburst?

最新推荐文章于 2024-09-13 08:52:28 发布

阅读量1.1k

点赞数 4

文章标签： beautifulsoup python 爬虫

本文链接：https://blog.csdn.net/weixin_45966548/article/details/134448621

版权

一.Request方式

由于软科大学排名页面的特殊设置，无法通过掌握翻页时页面url的变化规律，可以通过爬取js文件得到所有数据。

接下来开始实践。通过拿到网页js文件，然后通过正则表达式提取出排名信息的方式，将所有大学排名抓取出来。具体步骤如下：

(1)右键点击检查（Chrome），来到控制面板，点击network，找到payload.js，双击找到请求头headers，便可以找到请求地址（Request URL）。

需要注意的是爬取的payload.js是包含排名数据的js文件还是包含大学详细信息的js文件，我们可以通过查看js文件即可判断。

可以从js文件看出，此js文件是电子科技大学的详细信息。需要重新在开发者工具找到符合的payload的js文件。

如果网页打开js文件出现乱码，可以在下载Edge浏览的插件。插件链接字符修改插件

查看正确s文件的信息。可以从下图看出湖南省province对应的属性值为‘m’，这个属性可以用来筛选湖南省的软科前10排名的大学。

前期的准备工作结束，直接给兄弟们上代码：

import requests
import re
import pandas as pd

#请求目标链接中请求数据
def get_data(url,headers):
    try:
        response = requests.get(url,headers=headers)
        response.encoding = 'utf-8'
        data = str(response.text)#将获取的数据转换为字符串
    except:
        print('加载数据失败')
    return  data

#提取关键信息
def parse_data(data):
    name = (re.findall('univNameCn:"(.*?)".*?', str(data), re.S))#利用正则表达式提取需要的文本
    score = (re.findall('score:(.*?),.*?', str(data), re.S))
    province = (re.findall('province:(.*?),.*?', str(data), re.S))
    result = []
    for i in range(len(name)):#将获取的数据合并
        if province[i]=='m':
             result.append([i+1,name[i],score[i],province[i]])
    return result

#输出结果
def print_data(detail,num):#num表示需要输出的结果数
    tplt = "{0:^10}\t{1:^10}\t{2:^10}"
    print(tplt.format('排名', '学校名', '得分','地区'))
    for item in range(num):
        temp =detail[item]
        print(tplt.format(temp[0],temp[1],temp[2]),temp[3])

#将获取的结果保存到Excel中
def save_excel(detail,columns):
    file = pd.DataFrame(detail,columns=columns)
    #file = pd.DataFrame(detail)
    #print(file["地区"=='m'])
    #file=file[file["地区"=='m']]
    file.head(10).to_csv('湖南软科大学排名.csv',index=False,encoding="utf_8_sig")


def main():
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36"
    }
    url = 'https://www.shanghairanking.cn/_nuxt/static/1699861510/rankings/bcsr/2023/payload.js'
    columns = ['排名','学校名称','软科总得分','地区']
    row_data = get_data(url,headers)
    rank = parse_data(row_data)
    #print_data(rank,591)#输出前300条数据
    save_excel(rank,columns)

if __name__=="__main__":
    main()

爬取结果：

至此，Request方式按省份爬取结束。

二.BeautifulSoup方式

使用Beautiful方式属于定向爬取，可以通过爬取html网页的<body /body>下的内容定向爬取特定位置的数据。

步骤如下。

1.首先查看网页的源代码，可以看到要定向的页面位置都在<tbody>,<tr>,<td>标签里，通过爬取这三个标签得到所需数据。

2.设计request请求代码和BeautifulSoup查找代码，先查找tbody标签，在查找tr和td。代码如下：

4.打印预期效果。

5.如果需要按省份爬取，将代码中 #if tds[2].text.strip()=='湖南':去掉。

6.BeautifulSoup完整代码

import requests
from bs4 import BeautifulSoup
import bs4
import pandas as pd


def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""


def fillUnivList(ulist, html):
    soup = BeautifulSoup(html,"html.parser")
    for tr in soup.find('tbody').children:
        if isinstance(tr, bs4.element.Tag):
            tds = tr('td')
            #if tds[2].text.strip()=='湖南':
            ulist.append([tds[0].text.strip(),tds[1].text.strip(),tds[2].text.strip(),tds[4].text.strip()])

def printUnivList(ulist, num):
    tplt="{0:^10}\t{1:{3}^8}\t{2:^10}"
    print("{0:^8}\t{1:{3}^8}\t{2:^8}".format("排名","学校名称","总分", chr(12288)))
    #print(ulist)
    df = pd.DataFrame(ulist)
    names=['排名','学校名称','地区','总分']
    df.columns=names
    df.drop(['地区'], axis=1)
    df.head(10).to_csv("rank.csv", encoding="utf_8_sig")
    for i in range(num):
        u = ulist[i]
        print(tplt.format(u[0], u[1], u[2], chr(12288)))


def main():
    uinfo = []
    url = "https://www.shanghairanking.cn/rankings/bcur/202311"
    html = getHTMLText(url)
    fillUnivList(uinfo, html)
    printUnivList(uinfo, 10)
    


main()

三.总结

Request方式和BeautifulSoup方式各有优点，reques方式找js文件耗时，BeautifulSoup需要查看网页源代码，定制爬取方案。BeautifulSoup方式还有一个不足之处，如果网页翻页url不变，就很难爬取多页数据，通常的解决方法是打开开发者工具，查看Header是否有page等响应。