【数据可视化】大作业（意向考研高校的数据可视化）

已于 2023-06-21 20:15:01 修改
阅读量7.6k 收藏 171
点赞数 16
分类专栏： 【数据科学与大数据技术】 文章标签： 信息可视化 课程设计
于 2023-06-18 17:08:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Lenhart001/article/details/131271640
版权

文章目录

前言

  • 将该高校的地理位置以地图的形式展示。
  • 将该高校近几年计算机相关专业的考研（或高考）录取成绩、人数信息，专业师资队伍，考试科目及内容等等以合适的柱状图、折线图、饼图等方式表示出来，图表能够清晰得呈现不同数据的变化，使得观察图表的人能够迅速得获取信息。
    • 录取成绩、录取人数信息、专业师资队伍
    • 柱状图、折线图、饼图
  • 对个人感兴趣的导师、研究方向等多属性、多维度、多关系数据选用关系、词云等可视化方法，使数据清晰有效地表达。
    • 研究方向（关系+词云）
  • 其它自由发挥部分

一、数据介绍

1.1 基本信息

  • 学校名称：山东理工大学
  • 地理位置：山东省淄博市，北纬36.810315,东经117.999601
  • 院校：计算机科学与技术学院

1.2 考研信息

通过网络搜集2020-2022年，山东理工大学计算机科学与技术专业（学硕+专硕）第一志愿录取情况信息，具体信息包括：复试学院代码，复试学院，姓名，初试考试编号，复试专业代码，复试专业名称，研究方向代码，学习形式，一志愿/调剂，初试成绩，综合面试成绩"，总成绩，排名，录取结果，备注。需要注意的是该数据并非来自官网（学校官网信息已关闭），在数据结果上存在误差。

import PyPDF2
import pytesseract
import pandas as pd
import os

# 设置OCR引擎（如果需要）
# pytesseract.pytesseract.tesseract_cmd = r'/usr/bin/tesseract'  # 指定Tesseract OCR引擎的路径

# 将PDF文件转换为文本
def pdf_to_text(pdf_path):
    text = ""
    with open(pdf_path, 'rb') as file:
        reader = PyPDF2.PdfReader(file)
        num_pages = len(reader.pages)
        for page in range(num_pages):
            pdf_page = reader.pages[page]
            text += pdf_page.extract_text()
    return text

# 使用OCR识别文本
def ocr_text(image_path):
    text = pytesseract.image_to_string(image_path)
    return text

# 将文本保存为Excel文件
def save_text_as_excel(text, output_path):
    lines = text.split('\n')
    data = [line.split() for line in lines if line.strip()]
    df = pd.DataFrame(data)
    df.to_excel(output_path, index=False)

# 主函数
def pdf_to_excel(pdf_folder, output_folder):
    pdf_files = [f for f in os.listdir(pdf_folder) if f.endswith('.pdf')]

    for pdf_file in pdf_files:
        pdf_path = os.path.join(pdf_folder, pdf_file)
        text = pdf_to_text(pdf_path)

        # 使用OCR识别文本（如果需要）
        # image_path = 'image.png'  # 将PDF转换为图像文件（可选）
        # text = ocr_text(image_path)

        excel_file = pdf_file.replace('.pdf', '.xlsx')
        output_path = os.path.join(output_folder, excel_file)
        save_text_as_excel(text, output_path)

    print("转换完成！")

# 调用函数进行转换
pdf_folder = '/Users/liuhao/MyProject/PycharmProject/DataVisualization/Project1/Data/'
output_folder = '/Users/liuhao/MyProject/PycharmProject/DataVisualization/Project1/Output/'
pdf_to_excel(pdf_folder, output_folder)

在这里插入图片描述

  • 其他相关信息：

1.3 导师信息

通过山东理工大学计算机科学与技术学院官网，搜集获取研究生导师信息。

  • 获取信息：姓名、职位、主要学习工作简历、主要研究方向、社会兼职及荣誉称号、主讲课程及主要教学奖励、主要科研成果及奖励
  • 爬取代码：导师队伍
import time
import requests
from lxml import etree
import pandas as pd

def scrape_website(url, dataframe):
    # 发起HTTP请求获取网页内容
    response = requests.get(url)

    # 检查请求是否成功
    if response.status_code == 200:
        # 使用lxml库解析网页内容
        html = response.text
        tree = etree.HTML(html)

        # 创建字典来存储爬取的数据
        data = {}

        # 基本信息
        item1 = tree.xpath('/html/body/div[4]/div/div[2]/div/div[1]/div[2]/h2//text()')
        item2 = tree.xpath('/html/body/div[4]/div/div[2]/div/div[1]/div[2]/h3//text()')
        data['Item 1'] = item1
        data['Item 2'] = item2

        # 主要学习工作简历
        data1 = tree.xpath('/html/body/div[4]/div/div[2]/div/div[2]/div/p//text()')
        data['Main Education and Work Experience'] = data1

        # 主要研究方向
        data2 = tree.xpath('/html/body/div[4]/div/div[2]/div/div[3]/div/p//text()')
        data['Main Research Areas'] = data2

        # 社会兼职及荣誉称号
        data3 = tree.xpath('/html/body/div[4]/div/div[2]/div/div[4]/div/p//text()')
        data['Social Positions and Honors'] = data3

        # 主讲课程及主要教学奖励
        data4 = tree.xpath('/html/body/div[4]/div/div[2]/div/div[5]/div/p//text()')
        data['Main Courses and Teaching Awards'] = data4

        # 主要科研成果及奖励
        data5 = tree.xpath('/html/body/div[4]/div/div[2]/div/div[6]/div/p//text()')
        data['Main Research Achievements and Awards'] = data5

        # 将数据转换为DataFrame并添加到现有DataFrame中
        new_dataframe = pd.DataFrame([data])
        dataframe = pd.concat([dataframe, new_dataframe], ignore_index=True)

        return dataframe

    else:
        print("请求失败")

def scrape_url(url):
    # 发起HTTP请求获取网页内容
    response = requests.get(url)

    # 检查请求是否成功
    if response.status_code == 200:
        # 使用lxml库解析网页内容
        html = response.text
        tree = etree.HTML(html)
        # 提取所有链接
        links = tree.xpath('//*[@id="wp_content_w3_0"]//@href')
        for link in links:
            print("链接:", link)
        return links
    else:
        print("请求失败")

# 创建空的DataFrame来存储导师信息
df = pd.DataFrame()

# 调用爬虫函数
links = scrape_url("https://jsjxy.sdut.edu.cn/7534/list.htm")
for link in links:
    print(link)
    df = scrape_website(link, df)
    time.sleep(1)

# 删除JSON格式的数据
df = df.applymap(lambda x: ', '.join(x) if isinstance(x, list) else x)

# 将整理好的数据保存到Excel文件
df.to_excel("导师信息.xlsx", index=False)

print('########################### Over  ###########################')
  • 数据展示：
    在这里插入图片描述

二、预处理及分析

2.1 数据预处理

2.1.1 考研信息预处理

  • 删除标题
  • 删除空数据
  • 处理重复数据
  • 筛选复试学院为"计算机科学与技术数据" | “计算机学院” 的数据
  • 数据分别保存到三个Excel文件中，分别命名为“2020jsj”、“2021jsj”、“2022jsj”
import pandas as pd

# 读取数据文件
data_path = "/Users/liuhao/MyProject/PycharmProject/DataVisualization/Project1/Data/"
file_names = ["2020year.xlsx", "2021year.xlsx", "2022year.xlsx"]
save_names = ["2020jsj.xlsx", "2021jsj.xlsx", "2022jsj.xlsx"]

for i in range(len(file_names)):
    file_path = data_path + file_names[i]
    save_path = data_path + save_names[i]

    # 读取Excel文件
    df = pd.read_excel(file_path)

    # 筛选条件
    condition = ((df["复试学院"] == "计算机学院") | (df["复试学院"] == "计算机科学与技术学院"))

    # 根据条件筛选数据
    filtered_data = df[condition]

    # 保存筛选后的数据到新的Excel文件
    filtered_data.to_excel(save_path, index=False)

在这里插入图片描述

针对部分PDF转Excel识别不规范处理：

  • 根据“序号”一列将所有数据添加到新的excel表格中，如果“序号”对应的数据为非数字或空则跳过
import pandas as pd

# 读取原始Excel文件
file_path = '/Users/liuhao/MyProject/PycharmProject/DataVisualization/Project1/Data/2020year.xlsx'
df = pd.read_excel(file_path)

# 新建Excel文件
new_file_path = '/Users/liuhao/MyProject/PycharmProject/DataVisualization/Project1/Data/new_data.xlsx'
new_df = pd.DataFrame(columns=df.columns)  # 使用原始Excel文件的表头创建新的DataFrame

# 根据"序号"一列添加数据
for index, row in df.iterrows():
    value = row['序号']
    if pd.notnull(value) and str(value).isdigit():
        new_df = new_df._append(row)

# 将数据保存到新的Excel文件
new_df.to_excel(new_file_path, index=False)

2.1.2 导师信息预处理

  • 删除空数据
  • 处理重复数据
  • 切分数据
import pandas as pd
import re

# 读取Excel文件
file_path = '/Users/liuhao/MyProject/PycharmProject/DataVisualization/Project1/导师信息.xlsx'
df = pd.read_excel(file_path)

# 删除空数据
df = df.dropna(how='all')

# 处理重复数据
df = df.drop_duplicates()

# 创建新的Excel文件
output_file = '/Users/liuhao/MyProject/PycharmProject/DataVisualization/Project1/导师信息处理后.xlsx'
writer = pd.ExcelWriter(output_file, engine='xlsxwriter')

# 处理每个导师的信息
for index, row in df.iterrows():
    # 获取导师名称
    teacher_name = row['Item 1']

    # 创建以导师名称命名的工作表
    teacher_sheet = writer.book.add_worksheet(teacher_name)

    # 添加表头信息
    headers = ['姓名', '职位', '主要学习工作简历', '主要研究方向', '社会兼职及荣誉称号', '主讲课程及主要教学奖励',
               '主要科研成果及奖励']
    for col_index, header in enumerate(headers):
        teacher_sheet.write(0, col_index, header)

    # 将每一列的数据按照“，”“、”“；”进行切分，并保存到新的工作表中
    for col_index, value in enumerate(row):
        if pd.notnull(value):
            data_list = [x.strip() for x in re.split('[,、;]', str(value))]
            for i, data in enumerate(data_list):
                teacher_sheet.write(i + 1, col_index, data)

# 保存并关闭Excel文件
writer._save()
  • 处理结果：
    在这里插入图片描述

预处理后的数据仍有部分存在，手工处理后获得数据plus
数据内容：姓名、职位、主要学习工作简历、主要研究方向、社会兼职及荣誉称号、主讲课程

2.2 数据分析

三、可视化方法及结果

3.1 可视化方法

  • 地理位置展示：pyecharts地图展示工具
  • 2020-2022年一志愿录取成绩
    • 2020-2022年分数分布图：初试成绩、综合面试成绩、总成绩（柱形图）
    • 2020-2022年分数分分布饼图：初试成绩、综合面试成绩、总成绩（饼图-轮播图）
    • 2020-2022年最低分、最高分对比：初试成绩、综合面试成绩、总成绩（箱线图）
  • 2020-2022年一志愿人数信息：参与一志愿人数、录取人数变化图（折线图）
  • 考试科目及内容：Excel表格截图
  • 专业师资队伍：研究方向（关系图+词云图）

3.2 可视化结果展示

3.2.1 基本信息

  • 地理位置
from pyecharts.charts import Geo
from pyecharts import options as opts
from pyecharts.globals import GeoType


def test_geo():
    g = Geo()
    # 选择要显示的地图
    g.add_schema(maptype="山东")
    # 使用add_coordinate(name, lng, lat)添加坐标点和坐标名称
    g.add_coordinate('山东理工大学', 117.999601, 36.810315)
    # 给上面的坐标点添加数据，
    data_pair = [('山东理工大学', 10)]
    # 将数据添加到定义的地图上
    g.add('', data_pair, type_=GeoType.EFFECT_SCATTER, symbol_size=5)
    # 设置样式
    g.set_series_opts(label_opts=opts.LabelOpts(is_show=True))
    return g


g = test_geo()
# 渲染成html，保存在代码文件的相同目录下
g.render('坐标标注.html')

在这里插入图片描述

3.2.2 考研信息

2020-2022年分数分布图：初试成绩、综合面试成绩、总成绩（柱形图）

  • 初试成绩分布
import pandas as pd
from pyecharts.charts import Bar
from pyecharts import options as opts

# 文件路径和文件名
file_path = "/Users/liuhao/MyProject/PycharmProject/DataVisualization/Project1/Data/"
file_names = ["2020jsj.xlsx", "2021jsj.xlsx", "2022jsj.xlsx"]

# 分数段
score_ranges = [225, 250, 275, 300, 325, 350, 375, 400, 425]

# 存储每个分数段的人数
score_counts = [[0] * (len(score_ranges) - 1) for _ in range(len(file_names))]

# 遍历文件进行统计
for idx, file_name in enumerate(file_names):
    file = file_path + file_name
    df = pd.read_excel(file)

    # 获取初试成绩列数据
    scores = df["初试成绩"]

    # 统计每个分数段的人数
    for score in scores:
        for i in range(len(score_ranges) - 1):
            if score_ranges[i] <= score < score_ranges[i + 1]:
                score_counts[idx][i] += 1
                break

# 绘制柱状图
bar = (
    Bar()
    .add_xaxis([str(range_start) + '-' + str(range_end) for range_start, range_end in zip(score_ranges[:-1], score_ranges[1:])])
)

# 添加不同年份的数据系列
for idx, file_name in enumerate(file_names):
    bar.add_yaxis(file_name[:-5], score_counts[idx], stack="stack{}".format(idx))

# 设置全局选项
bar.set_global_opts(
    title_opts=opts.TitleOpts(title="初试成绩分布"),
    xaxis_opts=opts.AxisOpts(name="分数段"),
    yaxis_opts=opts.AxisOpts(name="人数"),
)

# 渲染图表
bar.render("score_distribution.html")

在这里插入图片描述

  • 综合面试成绩分布
import pandas as pd
from pyecharts.charts import Bar
from pyecharts import options as opts

# 文件路径和文件名
file_path = "/Users/liuhao/MyProject/PycharmProject/DataVisualization/Project1/Data/"
file_names = ["2020jsj.xlsx", "2021jsj.xlsx", "2022jsj.xlsx"]

# 分数段
score_ranges = list(range(70, 91, 2))

# 存储每个分数段的人数
score_counts = [[0] * (len(score_ranges) - 1) for _ in range(len(file_names))]

# 遍历文件进行统计
for idx, file_name in enumerate(file_names):
    file = file_path + file_name
    df = pd.read_excel(file)

    # 获取综合面试成绩列数据
    scores = df["综合面试成绩"]

    # 统计每个分数段的人数
    for score in scores:
        for i in range(len(score_ranges) - 1):
            if score_ranges[i] <= score < score_ranges[i + 1]:
                score_counts[idx][i] += 1
                break

# 绘制柱状图
bar = (
    Bar()
    .add_xaxis([str(range_start) + '-' + str(range_end) for range_start, range_end in zip(score_ranges[:-1], score_ranges[1:])])
)

# 添加不同年份的数据系列
for idx, file_name in enumerate(file_names):
    bar.add_yaxis(file_name[:-5], score_counts[idx], stack="stack{}".format(idx))

# 设置全局选项
bar.set_global_opts(
    title_opts=opts.TitleOpts(title="综合面试成绩分布"),
    xaxis_opts=opts.AxisOpts(name="分数段"),
    yaxis_opts=opts.AxisOpts(name="人数"),
)

# 渲染图表
bar.render("综合面试成绩分布.html")

在这里插入图片描述

  • 总成绩分布
import pandas as pd
from pyecharts.charts import Bar
from pyecharts import options as opts

# 文件路径和文件名
file_path = "/Users/liuhao/MyProject/PycharmProject/DataVisualization/Project1/Data/"
file_names = ["2020jsj.xlsx", "2021jsj.xlsx", "2022jsj.xlsx"]

# 分数段
score_ranges = list(range(60, 82, 2))

# 存储每个分数段的人数
score_counts = [[0] * (len(score_ranges) - 1) for _ in range(len(file_names))]

# 遍历文件进行统计
for idx, file_name in enumerate(file_names):
    file = file_path + file_name
    df = pd.read_excel(file)

    # 获取总成绩列数据
    total_scores = df["总成绩"]

    # 统计每个分数段的人数
    for score in total_scores:
        for i in range(len(score_ranges) - 1):
            if score_ranges[i] <= score < score_ranges[i + 1]:
                score_counts[idx][i] += 1
                break

# 绘制柱状图
bar = (
    Bar()
    .add_xaxis([str(range_start) + '-' + str(range_end) for range_start, range_end in zip(score_ranges[:-1], score_ranges[1:])])
)

# 添加不同年份的数据系列
for idx, file_name in enumerate(file_names):
    bar.add_yaxis(file_name[:-5], score_counts[idx], stack="stack{}".format(idx))

# 设置全局选项
bar.set_global_opts(
    title_opts=opts.TitleOpts(title="总成绩分布"),
    xaxis_opts=opts.AxisOpts(name="分数段"),
    yaxis_opts=opts.AxisOpts(name="人数"),
)

# 渲染图表
bar.render("总成绩分布.html")

在这里插入图片描述

2020-2022年分数分分布饼图：初试成绩、综合面试成绩、总成绩（饼图）

  • 初试成绩
import pandas as pd
from pyecharts.charts import Pie, Timeline
from pyecharts import options as opts

# 文件路径和文件名
file_path = "/Users/liuhao/MyProject/PycharmProject/DataVisualization/Project1/Data/"
file_names = ["2020jsj.xlsx", "2021jsj.xlsx", "2022jsj.xlsx"]

# 分数段
score_ranges = list(range(225, 425, 25))  # Updated score ranges

# 存储每个分数段的人数
score_counts = [[0] * (len(score_ranges) - 1) for _ in range(len(file_names))]

# 遍历文件进行统计
for idx, file_name in enumerate(file_names):
    file = file_path + file_name
    df = pd.read_excel(file)

    # 获取初试成绩列数据
    initial_scores = df["初试成绩"]

    # 统计每个分数段的人数
    for score in initial_scores:
        for i in range(len(score_ranges) - 1):
            if score_ranges[i] <= score < score_ranges[i + 1]:
                score_counts[idx][i] += 1
                break

# 创建时间轴图表
timeline = Timeline()

# 遍历不同时间的数据
for idx, file_name in enumerate(file_names):
    # 创建饼图
    pie = (
        Pie()
        .add(
            series_name="分数段",
            data_pair=[(str(range_start) + '-' + str(range_end), count) for range_start, range_end, count in zip(score_ranges[:-1], score_ranges[1:], score_counts[idx])],
            radius="50%"
        )
        .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {c}"))
        .set_global_opts(title_opts=opts.TitleOpts(title="初试成绩分布"), legend_opts=opts.LegendOpts(orient="vertical", pos_top="15%", pos_right="2%"))
    )

    # 添加当前时间的图表到时间轴
    timeline.add(pie, file_name[:-5])

# 渲染图表
timeline.render("初试成绩分布Pie.html")

在这里插入图片描述

  • 综合面试成绩
import pandas as pd
from pyecharts.charts import Pie, Timeline
from pyecharts import options as opts

# 文件路径和文件名
file_path = "/Users/liuhao/MyProject/PycharmProject/DataVisualization/Project1/Data/"
file_names = ["2020jsj.xlsx", "2021jsj.xlsx", "2022jsj.xlsx"]

# 分数段
score_ranges = list(range(60, 91, 5))  # Updated score ranges

# 存储每个分数段的人数
score_counts = [[0] * (len(score_ranges) - 1) for _ in range(len(file_names))]

# 遍历文件进行统计
for idx, file_name in enumerate(file_names):
    file = file_path + file_name
    df = pd.read_excel(file)

    # 获取综合面试成绩列数据
    interview_scores = df["综合面试成绩"]

    # 统计每个分数段的人数
    for score in interview_scores:
        for i in range(len(score_ranges) - 1):
            if score_ranges[i] <= score < score_ranges[i + 1]:
                score_counts[idx][i] += 1
                break

# 创建时间轴图表
timeline = Timeline()

# 遍历不同时间的数据
for idx, file_name in enumerate(file_names):
    # 创建饼图
    pie = (
        Pie()
        .add(
            series_name="分数段",
            data_pair=[(str(range_start) + '-' + str(range_end), count) for range_start, range_end, count in zip(score_ranges[:-1], score_ranges[1:], score_counts[idx])],
            radius="50%"
        )
        .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {c}"))
        .set_global_opts(title_opts=opts.TitleOpts(title="综合面试成绩分布"), legend_opts=opts.LegendOpts(orient="vertical", pos_top="15%", pos_right="2%"))
    )

    # 添加当前时间的图表到时间轴
    timeline.add(pie, file_name[:-5])

# 渲染图表
timeline.render("综合面试成绩分布Pie.html")

在这里插入图片描述

  • 总成绩
import pandas as pd
from pyecharts.charts import Pie, Timeline
from pyecharts import options as opts

# 文件路径和文件名
file_path = "/Users/liuhao/MyProject/PycharmProject/DataVisualization/Project1/Data/"
file_names = ["2020jsj.xlsx", "2021jsj.xlsx", "2022jsj.xlsx"]

# 分数段
score_ranges = list(range(60, 80, 5))  # Updated score ranges

# 存储每个分数段的人数
score_counts = [[0] * (len(score_ranges) - 1) for _ in range(len(file_names))]

# 遍历文件进行统计
for idx, file_name in enumerate(file_names):
    file = file_path + file_name
    df = pd.read_excel(file)

    # 获取总成绩列数据
    total_scores = df["总成绩"]

    # 统计每个分数段的人数
    for score in total_scores:
        for i in range(len(score_ranges) - 1):
            if score_ranges[i] <= score < score_ranges[i + 1]:
                score_counts[idx][i] += 1
                break

# 创建时间轴图表
timeline = Timeline()

# 遍历不同时间的数据
for idx, file_name in enumerate(file_names):
    # 创建饼图
    pie = (
        Pie()
        .add(
            series_name="分数段",
            data_pair=[(str(range_start) + '-' + str(range_end), count) for range_start, range_end, count in zip(score_ranges[:-1], score_ranges[1:], score_counts[idx])],
            radius="50%"
        )
        .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {c}"))
        .set_global_opts(title_opts=opts.TitleOpts(title="总成绩分布"), legend_opts=opts.LegendOpts(orient="vertical", pos_top="15%", pos_right="2%"))
    )

    # 添加当前时间的图表到时间轴
    timeline.add(pie, file_name[:-5])

# 渲染图表
timeline.render("总成绩分布Pie.html")

在这里插入图片描述

2020-2022年一志愿人数信息：参与一志愿人数、录取人数变化图（折线图）

import pandas as pd
from pyecharts import options as opts
from pyecharts.charts import Line

# 读取Excel文件
df_2020 = pd.read_excel('/Users/liuhao/MyProject/PycharmProject/DataVisualization/Project1/Data/2020jsj.xlsx')
df_2021 = pd.read_excel('/Users/liuhao/MyProject/PycharmProject/DataVisualization/Project1/Data/2021jsj.xlsx')
df_2022 = pd.read_excel('/Users/liuhao/MyProject/PycharmProject/DataVisualization/Project1/Data/2022jsj.xlsx')

# 计算总人数和录取人数
total_counts = [len(df_2020), len(df_2021), len(df_2022)]
admitted_counts = [
    len(df_2020[df_2020['录取结果'] == '拟录取']),
    len(df_2021[df_2021['录取结果'] == '拟录取']),
    len(df_2022[df_2022['录取结果'] == '拟录取'])
]

# 创建折线图
line = (
    Line()
    .add_xaxis(['2020', '2021', '2022'])
    .add_yaxis('总人数', total_counts, markline_opts=opts.MarkLineOpts(data=[opts.MarkLineItem(type_="average")]))
    .add_yaxis('录取人数', admitted_counts, markline_opts=opts.MarkLineOpts(data=[opts.MarkLineItem(type_="average")]))
    .set_global_opts(title_opts=opts.TitleOpts(title='总人数和录取人数变化折线图'),
                     yaxis_opts=opts.AxisOpts(name='人数'),
                     xaxis_opts=opts.AxisOpts(name='年份'))
)

# 保存为HTML文件并在浏览器中打开
line.render('/Users/liuhao/MyProject/PycharmProject/DataVisualization/Project1/录取人数变化.html')

在这里插入图片描述

2020-2022年最低分、最高分对比：初试成绩、综合面试成绩、总成绩（箱线图）

import pandas as pd
import matplotlib.pyplot as plt

# 设置中文字体
plt.rcParams['font.sans-serif'] = 'SimHei'

# 读取数据
data_2020 = pd.read_excel('/Users/liuhao/MyProject/PycharmProject/DataVisualization/Project1/Data/2020jsj.xlsx').dropna()
data_2021 = pd.read_excel('/Users/liuhao/MyProject/PycharmProject/DataVisualization/Project1/Data/2021jsj.xlsx').dropna()
data_2022 = pd.read_excel('/Users/liuhao/MyProject/PycharmProject/DataVisualization/Project1/Data/2022jsj.xlsx').dropna()

# 提取所需的列数据
score_2020 = data_2020['初试成绩']
score_2021 = data_2021['初试成绩']
score_2022 = data_2022['初试成绩']

interview_2020 = data_2020['综合面试成绩']
interview_2021 = data_2021['综合面试成绩']
interview_2022 = data_2022['综合面试成绩']

total_2020 = data_2020['总成绩']
total_2021 = data_2021['总成绩']
total_2022 = data_2022['总成绩']

# 绘制箱线图
plt.figure(figsize=(10, 6))

# 初试成绩对比图
plt.subplot(1, 3, 1)
plt.boxplot([score_2020, score_2021, score_2022])
plt.xticks([1, 2, 3], ['2020', '2021', '2022'])
plt.title('初试成绩')

# 综合面试成绩对比图
plt.subplot(1, 3, 2)
plt.boxplot([interview_2020, interview_2021, interview_2022])
plt.xticks([1, 2, 3], ['2020', '2021', '2022'])
plt.title('综合面试成绩')

# 总成绩对比图
plt.subplot(1, 3, 3)
plt.boxplot([total_2020, total_2021, total_2022])
plt.xticks([1, 2, 3], ['2020', '2021', '2022'])
plt.title('总成绩')

plt.tight_layout()
plt.show()

在这里插入图片描述

3.2.3 导师信息

  • 导师对应研究方向
import pandas as pd
import networkx as nx
import matplotlib.pyplot as plt
# 设置中文字体
plt.rcParams['font.sans-serif'] = 'SimHei'

# 读取Excel文件
file_path = '/Users/liuhao/MyProject/PycharmProject/DataVisualization/Project1/Data/导师信息处理plus.xlsx'
df = pd.read_excel(file_path, sheet_name=None)

# 创建空的有向图
graph = nx.DiGraph()

# 添加导师和研究方向节点
for sheet_name, sheet_data in df.items():
    tutor_name = sheet_name
    research_directions = sheet_data['主要研究方向'].dropna().tolist()

    # 添加导师节点
    graph.add_node(tutor_name, node_type='tutor')

    # 添加研究方向节点
    for direction in research_directions:
        graph.add_node(direction, node_type='research_direction')

        # 添加导师与研究方向之间的边
        graph.add_edge(tutor_name, direction)

# 绘制关系图
plt.figure(figsize=(12, 8))
pos = nx.spring_layout(graph, seed=42)
node_colors = {'tutor': 'lightblue', 'research_direction': 'lightgreen'}

nx.draw_networkx_nodes(graph, pos, node_color=[node_colors[graph.nodes[node]['node_type']] for node in graph.nodes()])
nx.draw_networkx_labels(graph, pos, font_size=10, font_color='black')
nx.draw_networkx_edges(graph, pos, arrowstyle='->', arrowsize=10)

plt.axis('off')
plt.show()

在这里插入图片描述

  • 研究方向词云图
import pandas as pd
from collections import Counter
from pyecharts import options as opts
from pyecharts.charts import WordCloud

# 读取Excel文件
file_path = '/Users/liuhao/MyProject/PycharmProject/DataVisualization/Project1/Data/导师信息处理plus.xlsx'
df = pd.read_excel(file_path, sheet_name=None)

# 统计研究方向出现的次数
research_directions = []
for sheet_name, sheet_data in df.items():
    research_directions.extend(sheet_data['主要研究方向'].dropna().tolist())

research_direction_counts = Counter(research_directions)

# 生成词云图数据
wordcloud_data = [(key, value) for key, value in research_direction_counts.items()]

# 创建词云图
wordcloud = (
    WordCloud()
    .add(series_name="研究方向", data_pair=wordcloud_data, word_size_range=[20, 100])
    .set_global_opts(title_opts=opts.TitleOpts(title="研究方向词云图"))
)

# 渲染词云图到HTML文件中
wordcloud.render("wordcloud.html")

在这里插入图片描述

四、总结

本项目使用Python网络爬虫、Pandas、Pyecharts、matplotlib等工具完成对山东理工大学计算机科学与技术专业考研信息及导师信息的手机与展示。展现了2020-2022年共三年该专业的考研录取信息并进行分析，
通过本项目，熟练掌握了对网络数据的爬取，数据的可视化展示，能够熟练运用Pandas等数据处理工具对数据进行简单预处理，能够熟练使用pyecharts、matplotlib等数据可视化工具，通过使用柱状图、折线图、饼图、箱线图、关系图、词云图等展示形式，对数据进行可视化展示。

五、附录

小手の冰凉
关注
  • 16
    点赞
  • 踩
  • 171
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
python期末大作业
07-03
py期末大作业，使用了网络编程、多线程、wxpython做界面、爬虫、xlwt操作excel和matplotlib进行电影种类的分析。主要爬取的内容是豆瓣热门电影，有界面和输出日志，可以把爬取信息输出为excel并绘制成图片。
数据可视化期末大作业1
08-03
摘要背景简介新冠肺炎疫情对全球经济贸易的冲击 .数据集简介 .探索性分析描述统计.数据可视化 .时间序列折线图 .日历图 .条形图 .箱线图 .总结及对策总结
《大数据可视化技术》可视化大作业：个人信息可视化展示：学习生活数据可视化、社会社交关系可视化、地理信息可视化、其他个人信息
09-19
代码都能直接用，可以改成自己需要的，应付一下老师的作业没有问题，代码浅显易懂，如果足迹三需要修改可视化结果，可以参考压缩包里面的"作业三说明.txt"。 更改数据集后，直接运行代码，即可让运行结果变成你需要的样子。 注意还可以更改颜色，更美观一点。
关于用echarts做数据大屏（期末可视化作业版本）
m0_63241410的博客
05-08 1093
数据可视化大屏
数据可视化大作业
08-05
数据可视化 大作业 广东工业大学 数据可视化 好莱坞数据集
模拟生态系统-数据结构可视化大作业
01-26
利用openGL实现可视化模拟生态系统 C++编写，内有详细说明 数据结构可视化寒假大作业
python数据分析可视化大作业——对地铁数据的简单数据分析
热门推荐
qq_44184866的博客
11-19 4万+
python数据分析可视化——对地铁数据的简单数据分析
【全程记录】一次数据分析和可视化的大作业（python）
m0_73541602的博客
05-29 5545
详细记录了作业的完成过程，附详细代码以及解决问题方法
数据可视化大作业 （HIV数据研究及可视化 javascript d3 +python 爬虫 + 页面整合）
m0_53112875的博客
06-14 5534
HIV可视化分析
《大数据可视化技术》可视化大作业：“个人信息可视化展示”：1学习生活数据可视化 2社会社交关系可视化 3地理信息可视化 4其他个人数据可视化
S1901的博客
09-19 4183
《大数据可视化技术》可视化大作业：“个人信息可视化展示”：1学习生活数据可视化 2社会社交关系可视化 3地理信息可视化 4其他个人数据可视化
Python爬虫数据可视化分析大作业.zip
05-29
Python爬虫数据可视化分析大作业，python实战项目：自动化爬虫+数据分析+可视化+UI
python大作业 含爬虫、数据可视化、地图、报告、及源码（整和为一个文件）（2014-2020全国各地区原油加工量）.rar
12-03
（含源码及报告）本程序分析了自2014年到2020年每年我国原油加工的产量，并且分析了2019年全国各地区原油加工量，含饼状图，柱状图，折线图，数据在地图上显示。运行本程序需要requests、bs4、csv、pandas、matplotlib、pyecharts库的支持，如果缺少某库请自行安装后再运行。文件含2个excel表，4个csv文件以及一个名字为render的html文件（需要用浏览器打开），直观的数据处理部分是图片以及html文件，数据处理的是excel文件。不懂可以扫文件中二维码在微信里面问。
python爬虫数据可视化分析大作业.zip
06-12
python爬虫，并将数据进行可视化分析，数据可视化包含饼图、柱状图、漏斗图、词云、另附源代码和报告书。
山东大学数据可视化软件学院可视化大作业.zip
最新发布
06-22
山东大学数据可视化软件学院可视化大作业.zip 本项目是一套成熟的大作业项目系统，获取98分，主要针对计算机相关专业的正在做大作业的学生和需要项目实战练习的学习者，可作为课程设计、期末大作业。 山东大学数据...
数据可视化数据大屏大作业.zip
06-30
在“数据可视化数据大屏大作业.zip”这个压缩包中，包含了一个使用JavaScript（js）、NCharts库以及HTML编写的天气数据可视化的项目。通过分析这个项目的组成部分，我们可以深入了解数据可视化的实现方式及其相关...
Python爬虫数据可视化分析大作业（下载即用）.zip
03-18
Python爬虫数据可视化分析大作业（下载即用）.zip个人97分的期末大作业，主要针对计算机相关专业的正在做课程设计和期末大作业的学生和需要项目实战练习的学习者。包含全部项目源码、该项目可以直接使用、项目都经过...
基于Html的电商数据库数据可视化大屏设计源码
03-28
这是一个基于Html的电商数据库数据可视化大屏设计，使用JavaScript、...该项目为电商行业提供了一个数据可视化的大屏展示平台，能够实时展示电商数据库中的关键数据，帮助用户更好地理解和分析数据，为决策提供支持。
python数据分析与可视化大作业成功案例
Bxwfjdjdbdgj的博客
01-05 1800
数据可视化是数据科学中不可缺少的一部分。在数据科学中，我们与数据打交道。手工分析少量数据是可以的，但当我们处理数千个数据时它就变得非常麻烦。如果我们不能发现数据集的趋势和洞察力，我们可能无法使用这些数据。希望上面介绍的的图可以帮助你深入了解数据。
数据可视化大作业 qt
06-20
### 回答1： Qt是一款跨平台的C++图形用户界面应用程序开发框架，其提供了一些工具和类库，能够构建图形界面、网络、数据库、XML和数据可视化等各类应用程序。数据可视化在数据分析、预测、决策等方面十分重要，而Qt也是一种很好的工具来进行数据可视化。 对于Qt的数据可视化大作业，可以从以下几个方面入手： 1. 数据的获取与处理：首先需要确定可视化的数据，根据数据来源不同，获取数据的方法也会有所不同。可以是从API、文件、数据库中获取。接着需要对数据进行处理，对于数据的缺失、异常值和重复值进行处理。 2. 界面设计：界面设计应该具有易操作性和简洁明了性的特点，可以考虑使用Qt Designer创建界面，包括图表、下拉菜单、按钮等控件，同时界面的可扩展性也要考虑到。 3. 数据的可视化：选择合适的图表类型来展示数据，如折线图、环形图、散点图、3D图等。需要对图表进行美化，如添加标题、坐标轴标签和刻度值等。 4. 交互性：可以在界面中添加一些交互性的控件，如滑动条、复选框、下拉菜单，能够增加用户对数据的掌控度和趣味性。 5. 数据的输出：完成数据可视化之后，需要将可视化结果输出。可以考虑将数据图表保存为图片或PDF格式，也可以将数据导出为Excel格式等。 在进行Qt的数据可视化大作业时，需要遵循良好的软件工程原则，包括模块化、代码复用和文档化等，同时要注意代码的可读性和可维护性，使得代码具有良好的可扩展性和稳定性。 ### 回答2： 本人设计的数据可视化大作业是采用QT技术进行实现，旨在对数据进行可视化展示。数据可视化是数据分析的重要手段，能够将数据转化为图像，直观、简洁地展示数据信息，帮助人们更好地理解和分析数据。 本次作业以医疗数据为例，通过可视化展示患者的身高体重指数(BMI)、年龄、性别等信息，帮助医学研究人员分析患者群体情况，对各种疾病的发病率、筛查标准等进行研究。采用QT技术实现的优势在于其具有良好的跨平台性和界面友好性，结合数据的可视化效果，更好地满足了医学研究人员的工作需要。 在制作过程中，我使用QT中的QChart来绘制各种图表，例如：折线图、饼图等。同时结合QTableWidget控件对数据进行管理，方便用户快速选择并展示不同类别的数据。在交互体验方面，我还使用了QT提供的信号与槽机制，结合用户操作，使得用户能够自由切换不同的展示效果。 通过这次作业的制作，我不仅学习到了数据可视化技术的应用，还深刻体验到QT技术的跨平台性和方便易用性。最终，我将本次制作的QT数据可视化大作业，作为自己数据可视化学习的重要记录。 ### 回答3： 在数据可视化大作业中，使用Qt框架来进行数据可视化，可以实现一些非常强大和实用的功能。Qt提供了非常丰富的界面设计，具有跨平台特性，能够在不同的操作系统平台上进行开发和部署，灵活性和可移植性很高。 在数据可视化大作业中，我们可以使用Qt的图形界面功能来设计数据界面和图表，将数据呈现出来，通过算法和可视化方法等来分析数据的规律和特征。同时，还可以使用Qt的数据模型功能，将数据存储和管理起来，方便操作和查询。通过增加数据可视化方案，Qt在可视化方面成就非同凡响。 为了实现一个成功的数据可视化，还需要考虑一些因素，例如数据的精度、数据的规模、数据的类型、数据的样本和数据的分析等方面。通过对这些因素的认真考虑和策划，我们可以设计出非常有用的、有效的和实用的数据可视化程序，为人们的日常生活和工作提供便利。 总的来说，数据可视化大作业Qt是一个既有挑战性又充满创意性的大型项目。只有对数据有良好的理解，对算法有深入的了解和掌握，才能打造出一个既实用又精美的数据可视化程序，为我们的生活和工作带来极大的便利。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值