高校大数据专业科研建设方案

第一章 建设背景
1.1 国家政策
 2017年1月
工业和信息化部正式发布了《大数据产业发展规划（2016－2020年）》，明确了“十三五”时期大数据产业的发展思路、原则和目标，将引导大数据产业持续健康发展，有力支撑制造强国和网络强国建设。
 2018年9月
工信部公示“2018年大数据产业发展试点示范项目名单”，公布了包括大数据存储管理、大数据分析挖掘、大数据安全保障、产业创新大数据应用、跨行业大数据融合应用、民生服务大数据应用、大数据测试评估、大数据重点标准研制及应用、政务数据共享开放平台及公共数据共享开放平台等10个方向200个项目。
 2019年11月
为进一步落实《国务院关于印发促进大数据发展行动纲要的通知》和《大数据产业发展规划（2016~2020年）》，推进实施国家大数据战略，务实推动大数据技术、产业创新发展，我国工业和信息化部将组织开展2020年大数据产业发展试点示范项目申报工作。
1.2 发展趋势
据IDC分析报道，中国互联网企业，到电信、金融、政府这样的传统行业，都开始采用各种大数据和分析技术，开始了自己的大数据实践之旅;应用场景也在逐渐拓展，从结构化数据的分析，发展到半结构化、非结构化数据的分析，尤其是社交媒体信息分析受到用户的更多关注。用户们开始评估以Hadoop、数据库一体机以及内存计算技术为代表的大数据相关新型技术。
当今大数据一词的重点其实已经不仅在于数据规模的定义，它更代表着信息技术发展进入了一个新的时代，代表着大数据处理所需的新的技术和方法，也代表着大数据分析和应用所带来的新发明、新服务和新的发展机遇。面向数据分析市场的新产品、新技术、新服务、新业态正在不断涌现，从个人、学院、企业到国家层面，都把数据作为一种重要的战略资产，逐渐认识到了数据的价值，不同程度地渗透到每个行业领域和部门，随着大数据行业应用需求日益增长，未来越来越多的研究和应用领域将需要使用大数据技术，大数据技术将渗透到每个涉及到大规模数据和复杂计算的应用领域。
1.3 建设必要性
将大数据运用于教学与科研是一种趋势，目前各高校都在寻找符合自身特点的大数据应用开发模式，各学校的平台根据自身学科发展的方向基于大数据平台面向政府、企业、高校、社会提供服务。通过对遍布教、学、研多层面的数据进行整合，并结合对大数据技术的有效利用，可以从根本上给教育、科研带来全方位的提升。通过大数据平台技术的应用，可以帮助学生改善学习效率，提供符合职业规划的个性化学习服务；同时也有助于教育和科研机构加快提升科研成果和提高教育质量，培养更多更优秀的创新性人才。
数据挖掘和大数据分析是多学科交叉产物，其涉及统计学、计算机网络、数据库、机器学习、人工智能以及模式识别等多种学科领域。目前，在我国高校的专业设置上与数据挖掘与大数据分析相关的学科专业包括：计算机科学与技术、信息管理与信息系统、统计学、经济、金融、贸易、生物信息、旅游以及公共卫生等。这些专业在使用大数据挖掘与分析平台时的侧重点各不相同，使用人员层次水平也不相同，对算法的使用也不相同，因此，需要建设一个便利、操作简易、算法全面、可视化的综合平台是非常有必要的。大数据挖掘与分析平台能够满足学校长期稳定、饱满的实践教学或科研等任务，适应学科专业建设和实训、科研及社会服务的需要。
第二章 建设目标
2.1 帮助师生进行科研活动
大数据挖掘与分析平台建设项目，可辅助教师与学生在科研项目方面的研究工作，从数据分析、数据挖掘和场景应用的可视化等多方面多环节，降低数据挖掘学习门槛，提升师生数据挖掘能力。
2.2 提高学生的实践能力
大数据分析目前是各大企业、政府、事业单位进行的一项工作内容，同时这种应用随着时间的推移将更加广泛。平台的建立就是为培养这样的人才所做的必要准备，将会对提高学生的社会调查研究实践能力、数据分析能力具有显著帮助，同时提高学生自身在就业中的竞争优势和就业后对社会的服务水平。
2.3 促进重点学科和品牌专业建设
大数据挖掘与分析平台建设项目，依托具有品牌专业的学科专业而建设，随着统计理论的发展，统计方法已经成为各个领域不可缺少的方法论。它的建设不仅对相关专业的未来发展有着重大的意义，同时也将大大促进学科特色优势学科的深化发展。提升学校知名度、美誉度和科研能力。
第三章 大数据挖掘与分析平台
3.1 整体介绍
3.1.1 产品概述
红亚科技大数据挖掘与分析平台是一款集数据接入、数据处理、数据挖掘、数据可视化、数据应用于一体的软件产品。它秉持“智能、互动、增值”的设计理念，面向高校用户提供自助式数据探索与分析能力，帮助用户快速发现数据意义与价值。
平台包括可视化探索、深度分析两大模块。
可视化探索模块：提供拖拽式的操作，让用户能够随时更改观察数据的维度、指标，将数据以丰富的图表方式，进行迅速、直观的表达，同时借助联动、钻取、链接等交互操作，发现数据内部的细节规律，让用户能够在操作交互过程中与数据进行直接、实时的对话，探索潜藏的数据规律，深度诠释“过去发生了什么，为什么会发生”。
深度分析模块：深度分析让用户能够基于平台内置的数据处理、算法节点，以拖拽式迅速完成机器学习、深度学习、自然语言处理等算法模型构建，实现数据的关联分析、未来趋势预测等多种分析，帮助用户发现深刻的数据洞察，精准预测“未来将发生什么”。
3.1.2 部署架构
平台部署服务器包括系统数据库服务器、分析应用服务器和大数据基础环境等，平台参考物理部署架构如下图：
数据库服务器：支持MySQL或Oracle数据库，用于创建平台系统库，存放平台配置信息等。
应用服务器：平台主程序，涵盖一体化的分析过程、方法和成果管理与应用，支持集群部署。
大数据集群：根据用户处理数据量灵活选择和部署，平台可与大数据平台集成，利用其集群资源开展大数据分析，也可独立运行。目前支持与行业主流大数据平台集成。
3.1.3 访问客户端
谷歌46及以上版本、Firefox 50及以上版本、IE10等；
支持安卓4.0以上、IOS 8以上移动操作系统。
3.2 技术优势
3.2.1 管理监测
平台的管理配置侧重于大数据平台软件环境的运维及监控。
平台通过监控服务对模型的状态进行监控，包括分布式应用系统的状态等，管理员在WEB可视化界面上进行日常的监控和维护。
平台集成监控告警模块，通过指标检测以执行报警功能，根据设定的警报级别和相应阈值发送故障告警信息，以邮件或短信的方式将告警通知到管理员。
 
 管理配置
对平台的模型管理和模型发布等进行管理配置。
 服务管理
提供统一的服务管理平台，支持统一管理和调度任务，支持多种服务调度方式，支持同步和异步访问模式。同时可对服务进行状态跟踪和查看。管理用户发布在平台中的各个业务系统的模型应用，提供模型发布申请，审批等功能，管理模型应用的生命周期。
 日志管理
将运行日志、系统使用日志等进行统一的归类、整理和展现，及时掌握数据分析和模型应用的运行使用情况。
通过对数据分析专题报告和模型使用次数的统计，还能够实现整体大数据平台当中的成果管控。
 监控告警
根据预先定制的监控指标进行实时监测和图表展现，整体、直观的展现大数据平台运行环境的健康状况。对关键指标的阈值，告警策略，告警方式进行配置，可对系统的关键指标的险情进行告警。
 
3.2.2 可视化应用
 应用场景
系统针对数据挖掘成果形成应用场景，建立个性化数据门户，突出“界面美观、操作简单、易于使用”的特点。门户中的内容可由用户自行定义，采用图表结合的方式展示。
报表设计功能：系统提供可视化的在线报表设计工具，用于制作展现的报表。报表设计应采用WEB方式，可直接在浏览器中完成报表设计工作。
 综合展示
提供包含常规查询、自定义查询、常规报表、KPI指标、例外监测、数据钻取/关联/链接等各种不同的数据组合展现模式。
 可视化图形展示
提供多种图形方式展示数据，图形必须美观易懂。
 图形种类
系统需支持各种主流的图形方式，如柱状图、折线图、饼图、点图、条形图、面积图、雷达图、气泡图、单指标仪表盘图、连续趋势图、中国地图、世界地图等。
 图形的使用方式
图形可以作为报表的辅助展现也可单独使用。在固定报表、即席报表及综合查询中图形作为报表的辅助进行展现，图形可以在报表定义时预先设计，也可根据报表结果随时增加和修改。
3.3 产品特性
3.3.1 可视化探索
 轻量级的自助式数据准备
平台内置轻量级的自助数据准备功能，允许用户根据需要对数据进行处理，且这样的数据处理操作对业务系统中的原始数据不会产生任何影响。用户可根据需要，快速的浏览数据的概念，了解数据分布情况，也可使用处理功能，对数据进行关联、追加、合并，增加数据的属性列、调整列的类型，也可对数据的内容进行分组、分段、过滤、替换值、去除空格等操作。自助式数据准备并不能代替所有的数据处理操作，它将原始数据进行变化调整以帮助用户更好的开展下一步的数据分析工作。
 简单的分析操作
平台的可视化探索模块坚持“所见即所得”的设计初衷，通过完善的图形界面与简单的拖拽操作，即可完成复杂的数据计算、可视化图形的快速生成与配置、交互式的数据探索以及分析报告的布局与设计。在易用性方面进行了大量的探索，旨在降低工具操作的复杂度，提供人人都是数