随着每年考研人数的不断增加,学生对于考研信息的需求也日益增长。然而,目前市场上存在的大部分考研推荐系统都存在数据不全面、推荐不精准等问题,无法满足学生的实际需求。因此,开发一款基于大数据技术的高校考研推荐系统,系统的技术包括hadoop,spark,vue,echarts,pandas,django等。系统首先通过Scrapy爬虫技术从掌上考研网爬取大量考研数据,包括分数线、专业类别、各科成绩等。这些数据经过处理和分析,通过Echarts技术实现可视化展示,如各专业分数排名、比例统计和录取总分趋势等。用户可输入自己的成绩信息,系统基于线性回归模型为其推荐适合的计算机专业学校。此系统的开发不仅为学生提供了便捷、精准的学校推荐服务,还促进了教育资源的优化配置,对提高考研成功率具有积极意义。同时,系统所采用的大数据技术为教育行业的数字化转型提供了有力支持。
根据以上的功能需求情况,整体的功能模块包括有前台vue项目,后台项目包括django后端项目模块和爬虫模块。前台vue的页面主要页面包括注册与登录页面,数据可视化展示页面,爬虫模块主要用来爬取掌上考研网的相关数据信息的,通过使用hadoop进行数据的存储,django后台用来提供前台所用的json数据。其中学校推荐功能的实现是基于机器学习功能之后的应用阶段。
图4.2系统功能模块图
用户进入本系统可查看系统主页信息,可视化主页面展示的可视化数据包括有各专业分数录取先排行,各专业比例统计,计算机学校录取总分趋势等。主页中的图标数据主要是通过Echarts框架的功能,只需要创建对应的实体类,便可以获取对应的展示信息。
图5.4系统主界面图