计算机毕业设计Python+Spark知识图谱高考志愿推荐系统 高考数据分析 高考可视化 高考大数据 大数据毕业设计

安顺学院本科毕业论文(设计)开题报告

完成时间：  2023年 7 月  02日

论文题目			基于Spark的高考志愿推荐系统的设计与实现
学生姓名				专   业	数据科学与大数据技术
学   科			工学	电子邮箱	1421855154@qq.com
联系电话			15120206071	指导教师	张忠琼  张福玉
选 题 目 的 和 意 义	一、选题目的 高考是中国的大学招生的学术资格考试，在目前看来，高考的考试类型有两种，一种是文理分科，另一种是新高考模式。传统的文理分科是将学生分成两个类型，一种是文科，除了语数外三门课以外需要学习政史地，理科相对应的就需要学习物化生。根据学生的高考成绩和每个大学在所对应省份的总体招生计划来分梯度划线，也就是我们常说的重本线，二本线和专科线。 高考填报志愿对每个考生都非常重要，每年全国有数百万家庭使用网络了解高考支援志愿信息并推荐填报志愿。对于很大一部分考生和家长来说，短时间了解全国数千所高等院校的招生标准、历史录取分数、专业要求等信息非常困难。往往由于信息的缺失或错误造成高考志愿与考生成绩之间的较大差异，对考生造成不可挽回的损失。 二、选题意义 目前高考志愿填报，涌现很多没有结合自身实际、盲目跟风的不良现象，最常见的跟风是过度依赖智能系统，很多家长、考生缺乏高考志愿相关专业知识，又没有太多时间去研究，面对浩如烟海的数据产生焦虑情绪，希望找到一种性价比高的方式，解决填报志愿时遇到的各种难题，最好能省心省事直接生成填报方案。在庞大用户需求量和高额利润诱惑下，高考志愿智能辅助系统软件的市场近年来变得非常火爆，有些商家抓住客户着急心理和对行情信息不了解的情况，做出虚假、过分夸大宣传。大部分家长不能从专业角度去甄别智能系统，盲目跟风缴费升级会员，过分迷信权威金牌专家、内部来源数据、人工智能一键生成方案等，很多考生三年备考、三分钟报考，录取去向满意度不高。 在当今时代,互联网的高度普及以及信息技术的飞速发展都使得数据呈现爆炸式增长,海量的数据然已成为一种“藏”。与此同时,社会出现了大量的“据金者”在数据的海洋里挖掘、采集、提炼、分析,想要发掘有价值的信息。据了解,大数据目前主要应用于互联网、电商、视频门户网站等企业领域,对于教育领域则运用的较少高考是教育领域中最引人注目的大事件,中国作为高考大国,在高考招生的信息化建设中,积累了非常丰富的高考信息数据资源,包括历年的报名库、志愿库、录取库、成绩库等等,且数据大多为原始数据未经过处理。面对这些数据,考生在填报志愿时往往无所适从,导致高考数据没能充分体现其价值,面对大数据时代所带来的数据过载等问题,推荐系统列和搜索引应运而生,相比于后者的信息被动选择模式,推荐系统是基于机器学习+深度学习自动的帮助用户过滤掉一些无用或不喜欢的内容,直接替用户完成了自我筛选的过程。其极大的缩短了用户在信息选择上的时间,同时也提高了用户相关行为数据的利用率。
研 究 现 状 述 评
一、国内研究现状   1、传统填报方法效率低、效果差。 目前，全国大部分省（自治区、直辖市）都是高考成绩公布后开始填报志愿，大部分家长和考生仅仅利用招生考试机构公布志愿填报日程几天时间，从近2700所高校和500多个专业中做出选择，对很多毫无经验的家长和考生来说“难于上青天”。因为影响高考志愿因素太多，如考生职业生涯规划、个人和家庭情况、分数、院校、专业、城市、高考志愿政策规则、填报策略技巧、近3到5年录取数据、录取概率测算、就业情况等，如果仅在几天内通过传统手段，以手工查阅书籍材料，往往会因为资料难找、耗时长、易疲劳出错等原因，填报志愿和最终录取去向往往不尽如人意。 2、填报方案不科学，录取不满意案例多。 《中国青年报》社会调查中心发起的一项10万人参加的抽样调查，超过71.2%的人后悔当年的高考志愿。我们可以在新闻媒体或网络上看到很多志愿填报不科学的典型案例，其中很多是高材生。 2008年周某以青海省第三名的成绩被北京大学生命科学学院录取，两年后周某选择转学到了北京工业技师学院。2017年李某从中国科学技术大学退学补习，2018年高考以云南省理科第8名的好成绩拒绝清华大学和北京大学发出的邀请，选择了四川大学口腔专业。2017年广西理科高考第3名考生，填错高考志愿批次，最后通过征集获得录取。2017年浙江省646高分考生竟报考独立学院，全省被独立学院录取的600分以上考生多达9人。 现实中，还有很多高考过来人默默承受着高考志愿填报失误带来的痛，比如对专业不满意、对院校不满意、填错批次、错过填报时间、被退档、毕业后从事与自己所学专业毫无关联的工作等。 在本项目中主要研究的是传统文理分科的高考模式，因为这种模式有着大量的数据支撑，提供训练，能够高精度地做出预测。而新考高模式刚刚施行，其数据是不足以支撑训练，从而做出预测。高考录取填报推荐志愿方式，梯度志愿和混合录取，经过不断优化，平行志愿已成为了高考录取的主流，大部分省份都采取平行志愿，所以本次项目也就平行志愿的录取方式来进行研究。即分数优先，满足偏好的方式，所以本项目着重对学生位次进行研究。针对高考这一热门话题，国内外都有着不少的专家学者对其进行研究，在过去的实践中，人们往往选用经典的时间序列方法来解决预测高校录取问题，即利用近5年高校录取的分数线，名次求平均值来预测当年的分数线，但是利用时间序列预测，就必须保证时间序列的过去值、当前值、和未来值之间存在着某种确定的函数关系。所以这养的预测是不够精确，不够完善的。除了基于时间序列的预测以外，还有人通过录取线差法来对高考录取进行研究，所谓录取线差是指考生意向院校当年平均录取分数与其所在招生批次录取控制分数线的差值。但是，每年高考试卷难度有别，造成了各个院校各年度的录取分数可能发生较大的变化。 综合来看，基于Spark的高考志愿推荐系统的相关研究在国内外都不多，未来的发展空间都很大。在未来的研究中可以结合数据分析、规划优化、机器学习和推荐算法等领域的相关方法，利用Spark的大数据处理能力，设计和实现一套可行的高考志愿推荐系统。这将为考生提供更好的填报建议，提升高考志愿填报的准确性和个性化程度。
拟 研 究 的 目 标 和 主 要 内 容
一、项目研究目标 使用Spark技术完成高考志愿填报的数据分析与推荐(提供4种深度学习推荐算法)； 结合知识图谱制作完成高考关系图； 用机器学习知识建立预测模型，对学校未来2-3年内高考分数线进行预测； 使用Python采集海量学校近三年省控线、专业线、学校信息、专业信息等数据集； 二、项目研究主要内容 1、推荐系统：包含协同过滤算法的两种实现（基于用户、基于物品）、基础业务功能； 2、后台管理系统：数据管理； 3、爬虫：爬取历年高考分数、高考院校信息，并可以实时更新； 4、数据大屏驾驶舱：使用Spark+Hadoop+Hive实时计算框架+离线数仓完成数据统计，以flask+echarts形式进行可视化显示；
研 究 的 主 要 方 法、手 段 和 途 径 及 研 究 进 度 计 划
一、主要方法、手段和途径 主要方法、手段 1、按照设计题目要求设计毕业设计方案，配合指导教师进行设计； 2、明确数据的来源，查找数据的途径，确保数据的稳定性； 3、接受指导教师指导，定时汇报工作内容，并就相关问题进行讨论； 4、理论联系实际，培养正确的工作方法和严谨的科学态度； 5、按照进度计划完成毕业设计并书写毕业论文。 主要途径 使用Hadoop、Spark、Hive计算框架进行数据分析、算法构建； 搭建SpringBoot+Vue.js前后端分离完成web推荐系统界面开发; Flask+echarts技术开发设计大屏驾驶舱; 对接第三方接口如阿里云短信、百度AI平台、百度地图等； 独立使用MySQL数据库和navicat终端完成数据表设计的能力； 安装配置neo4j数据库，导入高考关系数据； 集成Python机器学习、深度学习脚本，完成算法的接入和使用； 二、进度计划 第1-3周熟悉题目，对的开发流程和使用进行熟悉和分析，完成开题报告、文献综述以及需求分析。 第4-5周完成总体设计，确定采集目标数据集，进行标签。完成web展示系统非核心功能。 第6-9周初步使用Python+Spark做预训练模型，形成推荐算法脚本、预测算法脚本。集成知识图谱到neo4j图数据库中。 第10-12周对将算法整合到web展示系统中，完成系统算法部分功能。 第13-16周根据系统设计过程中的记录文挡及其功能编写毕业论文。
论   文   提   纲
1、论文提纲 摘要 英文摘要 1  引言   研究背景 1.2  研究的目的和意义 1.3  国内外研究现状 1.4  研究主要内容与技术 1.4.1研究内容 1.4.2研究技术 2  基于python爬虫的数据爬取和数据库的建立 2.1  高考信息表 2.5  数据库的建立 3  数据进行展示、科学分析和预测 3.1  基于spark+echarts进行可视化展示 3.2  推荐算法 3.4  情感分析 4  系统的建立和展示 4.1  基于springboot+mybatis后端开发 4.2  基于html、echarts、vue前端开发 4.3  系统的最终调试 5  结束语 参考文献 致谢 附录
开 题 报 告 主 要 参 考 文 献
[1]刘昊,李民.基于SSM框架的客户管理系统设计与实现[J].软件导刊,2022,16(07):87-89 [2]孙乐康.基于SSM框架的智能Web系统研发[J].决策探索(中),2023(05):93 [3]明日科技．Java从入门到精通（第3版）．清华大学出版社．2021 [4]王金龙，张静.基于java+Mysql的高校慕课（MOOC）本系统设计[J].通讯世界，2022,（20）：276-277. [5] 徐雯,高建华.基于Spring MVC及MyBatis的Web应用框架研究[J].微型电脑应用,2022,28(07):1-4+10 [6] 先巡,袁军.Ajax/Javascript在网页中的特效应用[J].黔南民族师范学院学报,2022,39(S1):100-103 [7] 王琴.基于Bootstrap技术的高校门户网站设计与实现[J].哈尔滨师范大学自然科学学报,2020,33(03):43-48 [8] 佘青.利用Apache Jmeter进行Web性能测试的研究[J].智能与应用,2021,2(02):55-57 [9] 蒲冬梅.软件项目可行性分析评审的要点[J].医院技术与软件工程,2022(24):54-55 [10]李丹. 派遣信息网络管理平台设计与实现[J]. 软件导刊,2023,15(03):97-98. [11] 王琴.基于Bootstrap技术的高校门户网站设计与实现[J].哈尔滨师范大学自然科学学报,2023,33(03):43-48 [12]周寅,张振方,周振涛,张杨,基于Java Web的智慧医疗问诊管理系统的设计与应用[J].中国医学装备,2022,18(8):132-135. [13]王福东,程亮.基于传统组态软件与Java相结合的水位监测分析系统[J].自动化技术与应用，2021，40(9):24-28. [14]朱姝.Java程序设计语言在软件开发中的运用初探[J].医院测试,2020,(21):72-74. [15]刘震林,喻春梅.基于MVC模式的JAVA Web开发与实践应用研究[J].网络安全技术与应用,2022,(1):57-58. [16]王红娟.基于软件开发的Java编程语言分析[J].电脑知识与技术,2020,17(5):60-61.
指 导 教 师 意 见		指导教师（签名）：                           年     月     日
院 本 科 论 文 （设计） 指 导 小 组   审   核   意   见		审核组长（签名）：                  审核小组成员（签名）：1.                                           2.                                           3.                                           4.                      年     月     日