论文题目 | 基于hive数据仓库的考研信息离线分析系统的设计与实现 | ||||
学生姓名 | 杨娣荧 | 专 业 | 数据科学与大数据技术 | ||
学 科 | 工学 | 电子邮箱 | 1047399243@qq.com | ||
联系电话 | 18786125674 | 指导教师 | 于为 | ||
选 题 目 的 和 意 义 | 随着互联网技术的飞速发展,人们日常所产生的数据也在日益增长,社会也步入了大数据时代,而数据多带来的不仅仅是存储方面的问题,在数据价值方面也带来了不可忽视的问题。 大量的数据中,人们很难找到所需要有价值的数据。另外,网络的发达,同时也存在不少安全隐患,人们在找寻自己想要的数据时,可能会得到虚假信息,甚者,个人信息被盗取。所以本项目通过爬取数据分析存储于数据仓库中,以最直观的方法展现出来便于查询。 | ||||
研 究 现 状 述 评 | |||||
由于大数据时代的到来,人们每天产生的数据过多且冗余,数据密度高价值低的问题,所以在大量的数据下面人们很难找出有价值的那部分数据,现目前考研的人越发的多,但最开始的小白不知道从哪里抓起,上网查询资料,数据过于大量且繁琐,耽误很多时间,而本项目则是通过爬取研招网将各大学校的招生人数,专业及需要考查的科目收集整理做一个可视化平台,供有需要的人方便查询,用户可通过注册登录进入系统搜索自己想了解的信息。 | |||||
拟 研 究 的 目 标 和 主 要 内 容 | |||||
拟研究的目标: 本系统主要是运用Python语言、hive数据仓库、大数据分析技术以及Pycharm开发工具等技术和软件展现考研信息离线分析可视化,项目要求有数据采集,数据清洗,数据存储和数据展示等功能,在整体上能够给客户最直观的看到有价值的信息。 拟研究的主要内容: 通过爬取研招网及各大高校的考研信息数据,爬取各大院校的招生专业、招生人数及往年的录取分数线等,存储于本地数据库中,再通过sqoop将数据上传到hive数据仓库对数据进行清洗及分析,最后对其呈现一个可视化平台及实现用户查询功能。 | |||||
研 究 的 主 要 方 法、手 段 和 途 径 及 研 究 进 度 计 划 | |||||
主要方法: 需求分析、结构设计、数据采集、数据库分析、数据库设计、数据库搭建、前端界面设计、大数据架构选型、大数据分析、大数据开发、后端开发、系统测试和系统运行维护。 主要手段: 通过实现各个模块方法,实现大数据架构与后端联调,前后端的构建为主要手段,先采用大数据对数据进行分析,将分析后的数据存储到数据库,后端从数据库中获取数据,传给前端,前端进行展示。 主要途径: 为实现其功能和需求,开发工具使用Pycharm、IDEA,数据库搭建使用Navicat数据库客户端连接工具,服务器使用Apache服务器,大数据开发环境为linux环境,后端使用springboot的java框架。 进度计划: 2022年05月22日至06月2日:毕业设计选题 2022年06月28日至06月30日:完成论文开题报告 2022年07月01日至07月4日:进行开题答辩 2022年07月05日至07月25日:实现系统的所有实现与设计,并且完成初稿 2022年07月28日至07月30日:进行中期检查 2022年08月01日至08月20日:修改初稿并完成论文二稿 2022年08月22日至08月28日:完成该系统的各项测试 2022年08月22日至09月16日:修改二稿并完成论文三稿 2022年09月16日至09月17日:指导教师评阅时间 2022年09月18日至09月20日:评阅教师评阅时间 2022年09月21日至09月25日:进行论文答辩 2022年09月26日至09月28日:论文定稿 | |||||
论 文 提 纲 | |||||
1.绪论 简述课题背景及来源、国内外研究现状、研究的目标和内容、和课题的意义和目的。 2.系统开发环境及相关技术 开发环境:IDEA后端开发以及大数据开发,Pycharm数据爬取,navicat数据库设计,linux大数据环境搭建。 技术选型:前端使用html,css,javascript以及echars组件进行展示,后端使用java开源框架springboot,和数据库连接框架mybatis和mysql,大数据使用zookeeper进行集群分布式协调,flume和kafka进行数据采集和传输,hbase进行数据离线存储,hive实时同步hbase数据进行离线分析,spark streaming对数据进行实时分析并且存储。 3.基于hive数据仓库的考研信息离线分析可视化平台分析 研究目标、平台需求分析、可行性分析、性能分析。 4.基于hive数据仓库的考研信息离线分析可视化平台设计 mysql,hive数据库的设计、平台总体框架。 5.基于hive数据仓库的考研信息离线分析可视化平台展现 主要实现的功能模块:前端数据展示,大数据数据获取,数据清洗,数据存储,数据展示,后端接口编写,数据库设计。 6.结语 从此项目中对项目的从0到1开发,从前端到后端再到大数据进行了一个贯通,对个人的成长极其重要。 | |||||
开 题 报 告 主 要 参 考 文 献 | |||||
[1]邓凤明. 大数据生态系统”大数据分析与应用”实验课程体系中的应用研究[D].中央民族大学,2019. [2]A Study of Multicultural Space in Seoul : Analysing the Coverage of Foreign Communities with News Big Data Analytics ‘BigKinds’ for 27 Years[J]. Journal of Media Economics & Culture,2017,15(2): [3]李维,陈江治,程丽萍,刘雨航,魏周思宇.大数据分析对消费者行为的影响[J].商业故事,2018,{4}(20):107. [4]戴红芳,罗金光,先晓兵.基于数据仓库的数据分析探索与实践[J].中国教育信息化,2015(10):13-15. [5]高运华.基于数据仓库的数据质量分析和评估[J].黑龙江科技信息,2014(20):165. [6]王峰.基于数据仓库的大学生成绩分析与应用[J].计算机光盘软件与应用,2013,16(05):207-208. [7]刘珍珍.基于数据仓库的高中学生成绩分析模型设计[J].电脑知识与技术,2011,7(03):495-496. [8]岳晓融,张立国.大数据分析在高校精准化就业服务模式中的应用研究[J].中国教育信息化,2022,28(05):105-113. [9]Lee In,Mangalaraj George. Big Data Analytics in Supply Chain Management: A Systematic Literature Review and Research Directions[J]. Big Data and Cognitive Computing,2022,6(1). [10]程学旗,刘盛华 ,张儒清 .大数据分析处理技术新体系的思考[J].中国科学院院刊,2022,37(01):60-67.DOI:10.16418/j.issn.1000-3045.20211117005. [11]王宏,嵇绍国.大数据分析的现实应用及发展趋势研究[J].信息网络安全,2021(S1):134-138. [12]Raghotham Murthy,Rajat Goel. Peregrine: Low-latency queries on Hive warehouse data[J]. XRDS: Crossroads, The ACM Magazine for Students,2012,19(1). [13]王庆涛,吕迎丽.试论如何采用数据仓库技术建设管理信息系统[J].信息通信,2020(06):188-189. [14]方昕.数据仓库技术在高校信息系统的运用[J].信息与电脑(理论版),2019(10):143-144. [15]张军,王芬芬.数据仓库技术在高校数据统计与分析系统中的应用研究[J].智能计算机与应用,2019,9(03):122-125. | |||||
指 导 教 师 意 见 | 指导教师(签名):
年 月 日 | ||||
院 本 科 论 文 (设计) 指 导 小 组 审 核 意 见 | 审核组长(签名): 审核小组成员(签名):1. 2. 3. 4. 年 月 日 |
07-26
160
![](https://csdnimg.cn/release/blogv2/dist/pc/img/readCountWhite.png)
08-21
1218
![](https://csdnimg.cn/release/blogv2/dist/pc/img/readCountWhite.png)
11-07
8878
![](https://csdnimg.cn/release/blogv2/dist/pc/img/readCountWhite.png)