【爬虫】爬取大学排名信息

【题目】用urllib.request和BeautifulSoup库方法定向爬取给定网址（ 【软科排名】2023年最新软科中国大学排名|中国最好大学排名 ）的（一个页面的）数据，屏幕打印爬取的大学排名信息。
打印示例：
排名 学校名称 省市 学校类型 总分
1 清华大学 北京 综合 852.5
2……

编程思路

功能描述：
输入：大学排名url链接
输出：大学排名信息的屏幕输出（排名，学校名称，省市，学校类型，总分）

程序的结构设计：
1.从网络上获取大学排名网页内容:定义函数getHTMLText()
2.提取网页内容中信息到合适的数据结构:定义函数fillUnivList()
3.利用数据结构展示并输出结果:定义函数printUnivList()

网页分析：

数据结构:所用数据都封装在一个表格(标签tbody)中，单个学校信息在tr标签中，详细信息在td标签中

---

爬取代码1（打印在屏幕上）：

import requests  # 方式1获取URL信息
import urllib.request  # 方式2获取URL信息
from bs4 import BeautifulSoup
import bs4


# 从网络上获取大学排名网页内容。
def getHTMLText(url):  # 获取URL信息，输出内容
    # =========================方式1获取=========================
    try:
        res = requests.get(url)  # 使用requests库爬取
        res.raise_for_status()  # 产生异常信息
        res.encoding = res.apparent_encoding  # 修改编码
        return res.text  # 返回网页编码
    except Exception as err:
        print(err)
    # =========================方式2获取=========================
    try:
        req = urllib.request.Request(url)
        # 打开URL网站的网址，读出二进制数据，二进制数据转为字符串
        data = urllib.request.urlopen(req).read.decode()
        return data
    except Exception as err:
        print(err)


# 提取网页内容中信息到合适的数据结构.
def fillUnivList(ulist, html):  # 将html页面放到ulist列表中(核心)
    # 解析网页文件（使用html解释器）
    soup = BeautifulSoup(html, "html.parser")
    # soup.prettify()  # 把soup对象的文档树变换成一个字符串
    # 数据结构:所用数据都封装在一个表格(标签tbody)中，单个学校信息在tr标签中，详细信息在td标签中
    # 学校名称在a标签中，定义一个列表单独存放a标签内容
    for tr in soup.find('tbody').children:
        if isinstance(tr, bs4.element.Tag):  # 如果tr标签的类型不是bs4库中定义的tag类型，则过滤掉
            a = tr('a')  # 把所用的a标签存为一个列表类型
            tds = tr('td')  # 将所有的td标签存为一个列表类型
            ulist.append([tds[0].text.strip(), a[0].string.strip(), tds[2].text.strip(),
                          tds[3].text.strip(), tds[4].text.strip()])
            # 使用strip()函数，它的作用是用于移除字符串头尾指定的字符（默认为空格或换行符）或字符序列


# 利用数据结构展示并输出结果:定义函数
def printUnivList(ulist1, num):  # 打印出ulist列表的信息，num表示希望将列表中的多少个元素打印出来
    # 格式化输出
    tplt = "{0:^10}\t{1:^10}\t{2:^12}\t{3:^12}\t{4:^10}"
    print(tplt.format("排名", "学校名称", "省份", "学校类型", "总分"))
    for i in range(num):
        u = ulist1[i]
        print(tplt.format(u[0], u[1], u[2], u[3], u[4]))


def main():
    uinfo = []  # 将大学信息放到列表中
    url = "https://www.shanghairanking.cn/rankings/bcur/2020"
    html = getHTMLText(url)
    fillUnivList(uinfo, html)
    printUnivList(uinfo, 30)  # 一个界面的数据


if __name__ == '__main__':
    main()

爬取结果如下：

---

爬取代码2（生成csv文件）：

import urllib.request
import pandas as pd
from bs4 import BeautifulSoup

url = "http://www.shanghairanking.cn/rankings/bcur/2020"
if __name__ == "__main__":
    c = urllib.request.urlopen(url).read().decode("utf-8")
    soup = BeautifulSoup(c,'lxml')
    sumL, L, count = [["排名", "学校名称", "省市", "学校类型", "总分"]], [], 0
    for i in soup.select("td"):
        if count == 5:
            count = 0
            sumL.append(L.copy())
            L.clear()
            continue
        elif count == 1:
            L.append(i.a.text.strip())
        else:
            L.append(i.text.strip())
        count += 1
    data = pd.DataFrame(sumL).to_csv("./college.csv", index=False, header=False)

爬取结果如下：

---

恭喜你成功突破第二章！失败只是成功的一部分，不要轻易放弃，勇往直前！

下一篇文章：3.1 网站树的爬起路径 
实战源码：Python网络爬虫实战​​​​​​​