目录
2.14.1、 开展大数据顶层设计,以大数据应用全面推进学校发展
2.14.2、 快速推进教学和管理工作的信息化,建立丰富的数据来源
5.3.1.1.1.3.1.3 使用动态路由 OSPF实现电路热备
4.6.3、 设计模式技术选择——基于SOA/WOA架构的MVC
C. 投影计算机的数字信号,进行计算机的教学、培训和演示。使用计算机进行多媒体教学能呈现教学内容的文、图、声、像。
D. 可以进入校园网,进行网上联机教学,从网中调出自己需要的教学资料。
E. 使用幻灯、投影进行常规化教学。教师可以利用原有的幻灯片、投影片等常规电教软件进行教学。
为了充分发挥 xxx市教育云平台教育信息管理、教育资源共享、远程教育教学、服务家庭社区功能,在进行云平台整体架构设计过程中依据云平台不同的功能层次,将架构分为三大部分:云平台基础设施,云平台应用系统和云空间。
基础设施作为云平台的底层构建基础,包含教育城域网、云数据中心与云平台支撑环境。为云平台上层应用提供计算资源、存储资源与网络资源。
云平台应用系统作为各项教育教学和管理活动的载体,为教育云平台的高效使用,教育教学数据的收集,智慧校园大数据分析利用提供软件保障。
云空间面向个人,学校和区域三种主要角色提供集教学应用、教学内容、教学工具、教学交流于一体的可定制可编辑的个性化信息门户。
云平台基础设施,云平台应用系统和云空间作为有机的整体,通过云平台基础设施对云平台应用系统和云空间提供硬件和网络基础。通过云平台应用系统与云空间采集、清洗、分析教育教学数据,充分利用云平台基础设施。使云平台得以高效利用,为教学质量的高速提升提供强大助力。最终实现“统一身份认证、统一数据汇聚、统一资源管理、统一桌面呈现”的设计理念。
xxx智慧校园大数据云平台的建设理念为“搭平台、定标准、上应用、成体系、集中管、特色建”。
搭建统一的智慧校园大数据云平台,统一规划,统一实施;通过“两级部署、三级应用”,形成一朵市级大云, 14朵区县(市直学校)小云的教育云平台。平台实现硬件设备共享、优质资源共享、先进应用共享、数据共享。通过统一数据中心、数据户操作中心、统一消息中心、应用接入统一接入管理实现平台上各个应用的有机互动,数据有机流转,消灭信息孤岛,实现人人通。
通过xxx市智慧校园大数据云平台的规划和建设,形成一系列标准体系,满足市级统一规划,统一管理的需求。标准体系内容如下:
- 基础设施建设标准
- 区县级局域网建设标准
- 校级无线WIFI建设标准
- 应用建设标准:
- 数据互操作标准
- 统一登录认证标准
- 统一消息中心标准
- 第三方应用接入系统标准
- 智慧课堂建设与管控标准
- 数字阅读空间建设标准
- 创客空间建设标准
- 资源建设标准
- 网络阅卷标准(微扫采集系统、高扫采集系统)
- 电子班牌建设标准
- 录播教室建设标准
- 服务体系标准
- 平台即服务标准
- 运维服务标准
- 运营服务标准
- 培训服务标准
部署上线一批满足 xxx智慧校园大数据云平台建设需求方案的应用,包括:
以资源为核心的公共资源服务平台:如教育教学应用、考试分析与管理应用、资源内容与管理应用;以及整已建的“一师一优课”和“名师工作室”等应用。
以OA办公、数字校园为核心的公共管理服务平台:如协同办公系统、数字校园系统、教师校长管理系统、学生管理系统等。
同时,平台具有兼容性和开发性,通过第三方应用接入标准,满足各个区县特色应用的接入。特色应用部署在区县平台,遵循谁建设,谁应用的原则。
通过xxx智慧校园大数据云平台整体规划和建设,构建一系列应用体系。应用体系内容如下:
以互联网+技术为核心的智慧校园教学体系 ,包含虚拟仿真实验室应用、智慧课堂应用、创客空间、数字阅读、备授课系统、在线教研系统等;
以优质资源沉淀、管理和使用为核心的 资源管理体系,包含:资源管理、校本资源、个人资源、资源征集等,系统与视频云平台、智慧课堂、考试分析系统对接,可以实现资源的沉淀、内生外生、使用的可持续化,让每一个优质资源活起来,为教师和学生所用,发挥资源本身的巨大价值。
以微扫和高扫设备为数据采集的 考试分析与管理体系 。实现了教务管理、考试管理、数据采集和数据分析,并将数据实时对接云端数据分析决策平台,为客观评价学生的学习效果和个性化发展提供客观数据画像。微扫系统的设计满足课堂检测、单元测验这类常态化检测和分析的需求,高扫系统的设计满足月考、期中、期末、模拟考试的大批量处理的需求。
备课教研体系:备授课系统是智慧课堂、创客空间、在线学习等应用的基础体系,通过调用资源管理系统的备课、 题库、微课等资源,满足线上线下的教学要求。通过视频云平台,实现网络教研、在线评课等活动,打造备课教研体系。
师生管理体系:通过教师管理系统、学生管理系统、校长管理系统,实现对用户的全方位管理,包括用户的基础信息、成长信息、评价信息等。
数字校园管理体系 :通过数字校园的学籍、选排课、学生德育信息管理、日常管理等内容,与云端智慧校园平台有机互动,数据对接,构建智慧校园,形成虚拟仿真实验室、智慧课堂、创客中心、智慧图书馆、智慧实验室、智慧公寓等一系列智慧空间。
家校互动体系:通过家校互动平台,提供班级空间、通讯录、圈子等网络活动空间,让家长和学校进行近距离交流,展示孩子在学校的各类表现和成长信息,关注学生健康发展。
协同办公体系:通过通知、公共、公文流转、工资、合同审批、物品申购、周历等灵活便捷的 web端和移动端应用,构建智慧便捷的移动办公平台。
综合评价体系:综合评价体系包括教师评价、学生评价、双轨评价、考试评价、课堂评价、教育质量评价等。评价对象包含教师、学生。评价工具包括:双轨评价、考试、和检测。
教育质量评价是教育能力和学习能力的整体评价,通过评价手段,提升教师和学生的整体水平。
建设集中管理平台,将所有规划的应用部署在市级云平台,实现数据采集多样化,数据汇集集中化,数据管理标准化,数据呈现可视化。平台还将实现用户统一管理,权限应用分配,做到一个账号,走遍全网。角色和应用权限个性化,满足各类应用的定制化需求。
统一规划部署的“大数据和运维服务可视化”平台,可以通过大屏动态、实时展现各类设备和应用的运营情况,可以接入巡考系统、校园安防系统、大数据可视化分析系统、网络运行情况、机房运行情况、运管中心运行情况等各类视频数据, 让决策者有据可依,让运营服务人员智能化管理。
xxx智慧校园大数据云平台,通过 1朵大云,14朵小云的两级部署规划,通过统一接入管理,满足区县校个性化应用接入和部署的需求。
特色应用部署在区县级云平台,遵循谁建设,谁应用的原则。
构建从个人到学校到区域多级互联的人人通空间,充分发挥校内应用互联、校际资源互联和区校数据互联的价值,为教师、学生、学校和区域教育行政部门等各类用户提供共享、共赢、互利的生态体系,实现区域内优质资源共建共享和智慧教学的协同创新。通过丰富的教学手段和优质的学习资源, 提升学生的学习效率和学习质量,提高学生的学习兴趣;通过编辑的管理工具和教学工具,减轻工作负担,提高教学质量。最终目标是从整体上提升教师的专业化水平,提升学生的学习质量,为社会输送全面发展的各类人才。
管、办、评分离是加快推进教育治理体系和治理能力现代化的基本要求和迫切任务,教育云项目将为推动管办评分离提供重要的技术基础和支撑,优化管理流程、促进程序公开透明。通过教育云,掌握全面准确的教育基础数据,实现大样本的抽样调查和大数据的准确分析,监测区域教育发展情况和各级各类学校的教育教学质量和学生综合素养发展水平;利用教育云大数据,推动教育科学决策、高效管理。
通过教育云平台的建设将实现覆盖 xxx市各个学校和教育管理部门的高速宽带网络。充分云平台的基础优势解决已建设系统间的数据孤岛问题,整合与共享教育教学数据, 使应用系统的运行效率最大化。结合云平台支撑环境与云数据中心的大容量高效率存储能力,为智慧校园大数据的采集、清洗与分析提供基础条件,进而为教育决策提供数据支撑。最终实现六化:
形成一系列的建设标准,包括基础设施标准化、平台支撑标
准化、应用建设标准化、平台服务标准化。
基础设施云化:构建计算资源池、存储资源池、网络资源池;通过云管平台进行统一集中管理,集中监控。
平台即服务的理念,将各类应用部署在市级云平台,用户通过账号进行远程访问,构建“胖中心服务器集群,廋客户端校园网”服务模式。
通过统一的平台规划和部署,建立健全智慧校园大数据云平台服务标准体系,提供统一的、规范的、可量化的教育云服务。
形成学校移动化、管理移动化、办公移动化、沟通移动化的生态体系。
满足教育信息化应用的迭代更新,保障新技术、新应用的按需接入。
秉承着“让资源活起来的”目的,将资源的生产、应用、和评价形成一整套体系,将资源管理平台与课堂应用、资源沉淀、考试分析进行无缝融合,让优质的资源为用户所用,发挥出巨大的价值。
搭建“大数据与运维服务可视化”平台,实时动态展现各类设备和应用的可视化,可以直观的了解设备的运营情况,应用的使用情况,资源的利用情况等。
xxx市教育局智慧校园大数据云平台整体架构以云平台基础设施层为硬件底层基础,其中包含教育城域网与云数据中心,为云平台提供网络资源、计算资源与存储资源。通过基础支撑层为云平台应用系统与人人通空间提供统一认证、统一授权、日志管理、系统监控、多媒体流、运维管理等基础性服务。
云平台应用系统包含教育资源公共服务平台与教育管理公共服务平台两大应用系统组成部分。 云平台应用系统与人人通空间中的个人空间、学校空间、区域空间共享业务流与知识流。最终各种功能与服务通过教学终端、 智能手机、电子白板、PC终端等终端设备进行呈现与交互。
采用“胖中心服务器集群,廋客户端校园网”方式,避免区县、学校单独建设,实现集中管理与维护,充分体现“云”的建设思路。
整个教育城域网是一个独立专网,核心层在市教育局,向下与各区县实现高速互联,再向下连接至各个学校。但由于资源限制等原因,不采用统一互联网出口模式。各区县单独设置互联网出口,市教育局单独设置互联网出口,在设计网络路由时需充分考虑。
各区县如果对现有网络设备、服务器有升级、更新等需求,可在项目开始前向市教育局提出申请,在本项目中按照统一技术标准予以建设,其费用在该区县负担的服务费中体现。
2015年是中国的智慧校园大数据元年, 、企业、学校、研究者、管理者、教师、社会公众等都开始关注智慧校园大数据,相关政策文件、研究机构、学术活动、市场产品等开始纷纷出现。然而,我国的智慧校园大数据研究与实践领域整体还处于起步探索阶段,是在“摸着石头过河”,涉及一系列关键问题亟待解决(如教育数据的自然采集、教育数据的安全管理与隐私保护、教育数据的无缝流转与开放共享、教育数据的深度挖掘以及学习分析等)。其中,教育数据的全面、自然、动态、持续采集是构建智慧校园大数据的基础性和先导性工作,这就需要厘清一些基本问题:教育数据的产生源头在哪里?哪些数据需要采集?有哪些常用的数据采集技术?采集时需要注意什么?大数据发展分析
培养大数据人才、利用智慧校园大数据深化智慧校园管理促进智慧校园改革发展、使用大数据平台提高智慧校园科研水平和效率,既是智慧校园面临的重要任务,也是智慧校园发展的战略机遇。
大数据正在逐渐成为社会基础设施,成为每一家组织机构的标配。“大数据”之“大”,更多的意义在于:人类可以“分析和利用”的数据在大量增加,通过这些数据的交换、整合和分析,人类可以发现新的知识,创造新的价值,并让很多常态化的认知、判断、思维定式、产品形态、服务模式,形成全新的面貌和演进方向。
大数据已经引起国际社会的高度重视,世界各国都在加快推进大数据战略布局。大数据产业已上升至国家战略高度,正日益渗透到经济发展和社会生活的方方面面。2015年9月5日,国务院发布《促进大数据发展行动纲要》,文件指出“数据已经成为国家基础性战略资源”,并在启动的十大工程之一“公共服务大数据工程”中明确提出要建设教育文化大数据。
智慧校园大数据已经上升到国家战略层面,引起社会各界的广泛关注和高度重视。智慧校园大数据将首先破解传统教育面临的六大难题(发展不均衡难题、方式单调化难题、信息隐形化难题、决策粗放化难题、择校感性化难题、就业盲目化难题),助推教育的全方位变革与创新发展。
确立智慧校园大数据在我国教育事业发展与改革中的战略地位已是国家教育现代化建设的必然要求。智慧校园大数据是重要的国家战略资产、教育领域综合改革的科学力量与发展智慧校园的基石。
人类社会已经迎来“大数据时代”。培养大数据人才、利用智慧校园大数据深化智慧校园管理促进智慧校园改革发展、使用大数据平台提高智慧校园科研水平和效率,既是智慧校园面临的重要任务,也是智慧校园发展的战略机遇。
目前政策对大数据的支持力度正不断提升,大数据已上升至国家战略。自去年3月“大数据”首次出现在《 工作报告》中以来,国务院常务会议一年内6次提及大数据运用。在6月17日的国务院常务会议上,总理李克强再次强调大数据运用的重要性。7月1日,国务院办公厅印发了《关于运用大数据加强对市场主体服务和监管的若干意见》。
9月5日电 经李克强总理签批,国务院日前印发《促进大数据发展行动纲要》,系统部署大数据发展工作。其中,也提到了智慧校园大数据系统的建设。
2015年12月21日,《中国基础智慧校园大数据发展白皮书》首次研讨会在京召开,对全国智慧校园大数据的建设给予探索和指导参考意义。
教育是一个超复杂的系统,涉及教学、管理、教研、服务等诸多业务。与金融系统具有清晰、规范、一致化的业务流程所不同的是,不同地区、不同学校的教育业务虽然具有一定的共性,但差异性也很突出,而业务的差异性直接导致教育数据来源更加多元、数据采集更加复杂。
智慧校园大数据产生于各种教育实践活动,既包括校园环境下的教学活动、管理活动、科研活动以及校园生活,也包括家庭、社区、博物馆、图书馆等非正式环境下的学习活动;既包括线上的教育教学活动,也包括线下的教育教学活动。智慧校园大数据的核心数据源头是“人”和“物”——“人”包括学生、教师、管理者和家长,“物”包括信息系统校园网站、服务器、多媒体设备等各种教育装备。
依据来源和范围的不同,可以将智慧校园大数据分为个体智慧校园大数据、课程智慧校园大数据、班级智慧校园大数据、学校智慧校园大数据、区域智慧校园大数据、国家智慧校园大数据等六种,它们从下向上、从小到大逐级汇聚:
包括教育部2012年正式发布的《教育管理信息化系列行业标准(教技[2012]3号)》中规定采集的教职工与学生的基础信息、用户各种行为数据(如学生随时随地的学习行为记录、管理人员的各种操作行为记录、教师的教学行为记录等)以及用户状态描述数据(如学习兴趣、动机、健康状况等)。
是指围绕课程教学而产生的相关教育数据,包括课程基本信息、课程成员、课程资源、课程作业、师生交互行为、课程考核等数据,其中课程成员数据来自个体层,用于描述与学生课程学习相关的个人信息。
是指以班级为单位采集的各种教育数据,包括班级每位学生的作业数据、考试数据、各门课程学习数据、课堂实录数据、班级管理数据等。
主要包括标准规定的各种学校管理数据(如概况、学生管理、办公管理、科研管理、财务管理等)、课堂教学数据、教务数据、校园安全数据、设备使用与维护数据、教室实验室等使用数据、学校能耗数据以及校园生活数据。
主要来自学校以及社会培训与在线教育机构,包括国家标准规定的教育行政管理数据、区域教育云平台产生的各种行为与结果数据、区域教研等所需的各种教育资源、各种区域层面开展的教学教研与学生竞赛活动数据以及各种社会培训与在线教育活动数据。
主要汇聚了来自各区域产生的各种教育数据,侧重教育管理类数据。
教育数据的采集需要综合应用多种技术,每种技术采集的数据范围和重点都有所不同。图2展示了教育数据采集的技术体系,共包括4大类、13种常见数据采集技术。
大数据是智慧校园行业跃迁的新变量,但目前也面临着诸多挑战:
主要以考量测评类产品为主,重点聚焦于如何“提分”;
盲目跟风现象严重,产品同质化且差异不大。
目前的产品多集中在关系维系端和数据存储端,缺乏深度数据分析;
教育行业数据半结构化、非结构化突出,在分析端技术整体不成熟。
行业正在重走教育信息化早期发展阶段的“老路”,盲目混乱发展;
专门针对智慧校园大数据的标准制定工作还未正式启动。
整个行业缺乏有影响的大数据实践案例,普遍对价值认可不足;
缺乏有影响案例的情况下,大数据定价缺乏依据和标准。
教育业务具有异常的复杂性和独特性,目前大多数产品仅靠IT思路构建教育数据库,在数据源选择和指标、权重设计方面往往脱离实际。
教育数据的归属权、开放范围、开放方式、隐私保护等还无清晰界定;
在提供教育数据产品与服务中,往往存在极大的政策风险。
数据来源多元化,共享数据库涵盖系统多,智慧校园生源不断扩张,信息不断积累,致使数据库中的信息不断增加,进而为数据挖掘、管理和分析带来了困难。
智慧校园不同学科与专业采用的大数据环境大多依赖现有的IT环境,导致大数据运行的基础软硬件环境比较混乱且极其不稳定,缺乏有效的运维管理,严重影响教学和科研工作的正常进行。
校园的信息仍然停留在收集和累积阶段,尽管移动终端系统的不断发展为信息采集带来了极大的便利,但采集后的数据仅仅停留在查询阶段,并没有对数据进行整合、分析和梳理,使得这些信息仍未被管理者采用,作为决策依据的信息则少之又少。
数据剧增由量变引起质变,使科研人员的思维和行为模式在传统的学科研究领域发生转变。如何借助大数据相关技术以及资源,找到本学科研究成果的新视角,已经成为当前智慧校园研究的重要课题。
-
- 智慧校园大数据云平台建设原则
数据采集是建设智慧校园大数据的基础性、先导性工作。随着很多新型技术(如眼动追踪技术、语音交互技术、体感技术等)的逐步成熟,将有越来越多的数据采集技术应用到教育领域,推动智慧校园大数据更加实时、连续、便捷的采集。为了保证高质量教育数据的可持续性采集,教育数据采集在实践过程中需要注意如下事项:
智慧校园大数据的建设与应用是一项系统工程,需要进行顶层设计,以便有目的、有序地采集高质量教育数据。规划设计的内容包括:数据采集的范围、使用的数据采集技术、数据采集环境的部署、数据采集质量的保障措施、采集数据的应用目的和场景、数据的存储方案、数据的更新机制、数据的交换标准等。不同层级的教育数据采集应当有不同的侧重点——国家智慧校园大数据和区域智慧校园大数据应以管理类数据采集为主,同时注重与社会、医疗、交通等领域大数据的关联交叉分析与挖掘,重点服务教育政策的制定以及区域教育的均衡发展;学校、班级、课程大数据应以教与学活动数据采集为主,重点服务教学质量的提升;个体大数据应以学习者个体的行为数据、状态数据、情境数据等采集为主,重点服务学习者的个性化学习诊断和发展。
大数据虽然具有混杂性、来源多样性等特征,数据的存储成本也越来越低,但并非要囊括一切数据,没有价值的数据是不值得收集和分析的。智慧校园大数据同样如此,其采集应当有清晰的边界,而非盲目采集任何教育活动数据。究竟要采集哪些数据,取决于数据的应用目的。举个例子,为了检测评估学生的学习进展,就需要对课程浏览、作业练习、交流互动、提问答疑等数据进行实时采集和分析,而不必采集学生的饮食、运动等数据。当然,我们并不否认饮食、运动等数据在诊断学生体质状况方面的价值。这里所提的“数据边界”是相对于具体的应用目的而言的,任何数据分析模型的构建都需要依赖特定的数据集合,唯有如此才能保证分析模型的有效性和分析结果的应用价值。
很多时候,仅凭某个学生的一次作业成绩并不能说明什么问题,但如果将一个班级每位学生历次的作业成绩甚至作业的过程数据都全部采集到,便可以客观评估学生的整体学习效果、发现学习盲点、诊断教学难点,开展针对性教学和个别化辅导,这时的作业数据便具有了“大”价值。智慧校园大数据的采集应秉持“持续创造价值,规范提升价值”的理念。教育数据的采集一方面应当保持连续性,即根据前期规划设计,定期、连续、有规律地采集各种教育数据,通过长时间累计从小数据生成大数据;另一方面,为了保证后期数据的融通互换和一致化处理,教育数据的采集应遵循特定的技术标准和规范。目前,全国信息技术标准化技术委员会教育技术分技术委员会已在教育信息化标准研制方面做了大量的工作,有些技术标准已经成为国标,各应用系统的研发应当遵循教育管理信息化标准、教育资源建设标准等。此外,国际上一些通用标准也值得借鉴,如IMS-QTI(问题与测试交互)标准、xAPI(学习体验记录)规范等。
数据粒度是指数据的细化和综合程度。一般来说,细化程度越高,粒度越小;细化程度越低,粒度越大。数据采集应处于一个合适的粒度级别,粒度的级别既不能太高也不能太低。这是因为,低的粒度级别能提供详尽的数据,但要占用较多的存储空间、需要较长的查询时间;高的粒度级别能快速方便地进行查询,但不能提供过细的数据。就智慧校园大数据采集而言,在保证数据有效性的基础上,数据粒度应尽可能细,以便从中挖掘更多的潜在价值。传统的教育数据以分数为核心,一份作业、一张试卷最后采集到的仅仅是一个表征成绩的数字符号,即采集的数据粒度比较大。如果基于在线学习平台或点阵数码笔技术能够采集到每个学生的答题过程,如做题的顺序、每道题的停留时间、答案修改次数等更细化的过程记录数据,便能更加精准地判断学生在哪些知识点存有疑惑和答错的具体原因(马虎大意还是未掌握知识)。因此,可以说“小颗粒汇聚大数据,大数据蕴藏大价值”。
- 主要是数字化校园系统产生数据
- 数据的维度少,业务来源不足
- 数据量百GB到几TB,数据量少
- 以结构化数据为主,达不到大数据要求
- 部份数据源有错误,数据不一致
- 业务接口与数据结构不规范
智慧校园类似一个小社会,用户群体较多,各部门都存在大数据需求,而关注的内容会有较大的区别。比如校领导关注全校基础数据和总体情况,用于战略决策与发展评估。管理部门关注学生的生活、消费和心理状态。教学部门关注学生成绩情况、教师教学质量和学生满意度等。因此,这些特点决定了高教大数据的应用模块和类型会比较丰富。
智慧校园的特点是数量据并不算大,几万人规模的数据比起我们之前参与的电信几百万人的规模来说不算大,但数据源丰富,而且重视数据关联分析。
现阶段有些智慧校园的大数据是由某些学院自已在搞,没有从全校的层面来进行统一部署,数据处于割裂的状态,大数据价值不明显。智慧校园大数据在很多学校属于一把手工程,需要由学校高层领导牵头,协调和部门的数据,并进行统一的顶层设计和全校规划,由具体的单位比如网络中心来落地建设。
- 决策更加科学。
- 教学更加便捷
- 教学水平提升
- 随时随地个性化学习。
- 及时掌握子女在校情况。
- 更加绿色、环保、安全
- 信息化覆盖范围和服务水平有效提升
- 管理更加简单高效
- 服务水平不断提升
- 更多优质教育资源和科研成果开放共享
将学校各应用系统的数据进行集成和整合,使来源各异、种类不一的各类数据可以相互使用,丰富数据的来源,打破系统间的信息孤岛,实现数据的共享和应用。
研制数据适配接口,对接校内各应用系统获取各类异构数据,并采用大数据主流的框架和系统对数据进行统一存储,为数据的挖掘和分析打好基础。
采用数据挖掘、数理统计等相关技术,构建大数据分析框架,提取数据中隐含的、未知的、极具潜在应用价值的信息和规律,为学校的教务管理、科研管理、学生管理、后勤管理等各项工作提供决策和指导。
智慧校园作为高科技人才以及创新技术的摇篮,承载着科研攻关和人才培养的双重使命。在新的科技浪潮中,智慧校园应瞄准时代最前沿,将教学科研创新、专业人才培养与大数据紧密融合在一起,在更高起点上推动学校在大数据教学、科研以及创新方面再上新台阶。
集成教育数据挖掘与学习分析技术,持续采集学习行为数据,智能分析,推送适合的学习资源并进行个性化学习建议。
采集教与学的全过程数据,全面客观记录学生成长轨迹,引导学生培养模式和教育质量管理方式科学健康发展。
解决科研经费等科研管理难题,提供便捷的技术支撑与人性化服务,提高研究的效率和结果的可信度。
完成创新应用及发布,完善智慧校园信息化建设,提升智慧校园实力,加速创客成果转化,推动创意实现产业化,打造具有影响力的“创客校园”。
教学数据分析与预测,改变教学模式,实现个性化教育,调整教学方案,优化教学方法,提高教学质量。
注重相关关系识别,强调因果关系的确定,发现隐藏的、有用的信息,做好教育管理和决策工作的数据支持。
部门依据统计报表制定各种指标,指导教育发展工作,而利用大数据技术采集、挖掘、分析这类数据能够更好地量化教育现状,并用作制定教育资源分配建议、教育管理政策。
分析某市、某省甚至全国生师比现状与教学效果的关联性,得出最佳生师比或指导性生师比,以此指导各地教师调动的相应政策;
分析学校农村学生寄宿生比例,指导新校选址、旧校裁撤等事宜;
对某智慧校园教室、实验室的空置率或利用率做大数据分析,并依据分析结果权衡场地资源的再分配,将属于某班级/年级/院系空置率高(利用率低)的场地调拨给其他场地使用紧张的班级/年级/院系。
在学生综合评价中,可先从学生体质健康达标率入手,配合专用传感器,获取学生体质相关数据,运用大数据技术分析学生体质与学生锻炼时间、强度等内容的相关性模型,并依此提出教学建议;
通过对专任教师培训次数(人次/百人)指标的分析,探讨教师继续培训与教学质量的相关性;
分析进城务工人员随迁子女的入学比例与该地经济发展、政策变动、人均收入增长等因素的相关性,得出与教学管理方案(新建学校、教师调动等)关联的模型,指导教育部门制定合理的教学管理方案。
教学资源精准投放,即准确搜寻所需教案、教学课件、教学视频或问题学生应对方法等,在搜寻过程中还可参考课程大数据标签进行筛选,找到合适的教学资源 。
通过教师行为大数据分析(包括课程设计类型、教学思维回路图等),通过横向纵向大数据比较,找到教师自身教学过程的问题所在,进行针对性训练和辅导,最终得到教师教学评价。
建立云题库,并在年级、学科分类的基础上,运用大数据进行题目类型、知识点类型、难易程度、解题思路类型划分,并贴上题目标签。教师可根据课程标签进行智能组卷,或结合学生学习数据分析布置个性化作业。
在多次教学反馈,学生学习反馈的基础上,形成教师综合评估报告,对教师教学类型、教学优势、教学缺陷、学生类型匹配等做出全方位评价。
通过学生行为大数据分析,洞悉学生学习思维的问题所在,进行针对性训练提高。
在学生弱项分析的基础上,结合行为数据分析,提出针对性具体性的学习建议甚至学习方案。
对学生学习历程进行记录,根据学习进度精准推送所需教学资源。
对目标明确的学习(如资格考试),执行大目标分解成小目标的学习计划,分析用户日常时间安排判断学习计划的可行性或提出学习时间安排建议。分析用户学习进度及特点,给出预测分数和学习提升建议。
分析学生学习风格、能力模型、群体学习特点,对学生教学管理制度(如教学作息时刻表、教学设施建设等)给出指导意见;
对学生教学管理制度(如教学作息时刻表、教学设施建设等)给出指导意见,对教师调配、教师教学能力提升做出具体要求;
搜集学生行为数据(学生学习特点、时间安排等),通过大数据多维对比,找到问题学生(包括学习习惯问题、心理健康问题),及时做出针对性辅导。
平台技术服务商的大数据技术用武之处应用需求甚多。
对于平台技术服务商而言,最大的难点在于平台顶层设计,即准确把握用户需求和平台前景规划。
大数据技术虽不能直接击中用户需求,但能快速精准地把握市场现状,并给出趋势预测分析。从这个角度上看,大数据技术对用户需求的把握比传统的问卷调查或实地调研更具参考性和实用性。因此,大数据技术对平台技术服务商的平台建设极具指导意义。
语音识别技术服务商大数据前景广阔,语音识别是一个热点领域,除了教育应用,还涉及众多领域。
语音识别的关键技术指标是识别准确率和识别速度,而这两项指标都能通过大数据技术进行优化。
在建立庞大的语音和词汇数据库的基础上,运用大数据技术匹配用户说话内容与语音库,并根据词汇数据库理解用户表达的意思。
目前英语语音识别系统已经在使用过程中逐步完善,但汉语语音识别由于汉语的复杂性,存在技术瓶颈,产品开发亟待突破。
目前国内教育领域语音识别技术龙头企业为科大讯飞,所有省份的口语评测采用的都是科大讯飞的引擎。
物联网技术服务商大数据应用前景广阔。
物联网技术和大数据技术是一对密不可分的兄弟,物联网采集的数据需要大数据技术做分析,而大数据技术的开展需要物联网技术进行数据采集。
平台服务商是未来教育线上产业链建设的重点,而教育行业未来发展趋势将是结合新型信息技术实现线上线下深度融合,因此大数据技术在平台服务商的应用被教育行业业内人士广泛看好。
教育资源云存储,优质教育资源共享;
教育资源标签化,方便教师和学生查找;
资源精准推送。
学生学习进度管理、学习情况管理、学情分析;
教师布置作业、批阅试卷、上传课程资料等;
师生双方的教学评估。
-
-
-
- O2O平台
-
-
师生双方精准匹配;
提高匹配效率。
用户画像;
交流伙伴匹配。
用户即学生和家长,家长是教育行业的主要付费者,前面介绍了学生需求,因此这里只关注家长端的大数据应用。
教育行业面向家长的业务主要在家校互动方面开展,可运用大数据技术在教育内容信息化的基础上将信息同步到家长端,家长反馈也可进行大数据聚类分析。
教育行业面向家长的业务主要在家校互动方面开展,大数据技术可结合位置数据,在学生到校或到家时将抵达信息实时推送到家长端,变相解决教育行业安全问题。
数据隐私与安全一直是大数据发展的障碍之一。教育数据的采集源头来自广大学生、教师、家长以及学校,数据繁杂多样,其中成绩、排名、家庭背景等诸多信息涉及个人隐私。目前,国内在教育数据隐私保护方面的法律法规还不健全,学校、教育机构等学生数据的保护意识亟待加强。由于监管不到位,教育行业中不乏一些为了商业利益而私售师生以及家长信息的不良企业。不管出于研究、管理还是商业目的,任何教育数据在采集之前,都应当遵循教育数据采集伦理道德规范(建议相关部门尽快编制),数据产生主体也应当享有一定的知情权和选择权。数据采集的初衷和最终目的应该本着“服务教育发展、服务师生成长”的
运用大数据技术分析山西省小学生师比后发现,全省小学生师比为13.12,其中生师比为12.60-13.40的学校教学质量普遍比其他学校更高,因此可以制定山西省指导性小学生师比为13.00.大数据还发现山西省南部生师比普遍高于13.00,北部生师比普遍低于13.00,因此山西省厅可制定小学教师资源向南部倾斜的政策。
黑龙江省农村学生寄宿生比例为32%,但教育资源浪费现象太严重,需考虑通过并校、撤校的方式将教育资源集中起来。甲村和乙村是邻村,通过大数据分析发现甲村寄宿生比例为20%,乙村寄宿生比例为50%,因此在考虑将甲村和乙村的学校合并时,由于乙村寄宿生比例较高,因此可撤掉乙村学校,鼓励原乙村学校学生全部转为寄宿生,有利于解决农村学生裁并校后的住宿、就餐和上下学问题。
结合物联网,运用大数据技术分析后发现复旦大学新闻学院共计160个教研室的时间利用率/空间利用率仅有40%,而外语学院100个教研室使用率高达80%,场地非常紧张。因此,综合考虑,复旦大学可将新闻学院的部分教研室划分或借给外语学院使用,提高学校整体场地使用率,实现资源的再分配。
分析河南省教育部门采集的学生体质健康达标率后发现,初中学生体质健康达标率平均为60%。而对比体质健康达标率在80%以上的学校和达标率在60%以下的学校发现,同样是一周两节体育课的课表安排,大多达标率高的学校安排的是足球、篮球、羽毛球等运动量较大的体育项目,而达标率低的学校由于场地限制、经费限制等诸多因素,只能进行乒乓球、接力跑步、广播体操等体育项目。因此,来年可以据此向教育管理部门提出教育经费专项申请或变动体育课程项目安排,提高学生体质健康达标率。
某二线城市小学二年级的教学标准中,制定者认为“run”这个词要达到语用标准,但根据实际收集到的数据是能够达到这个标准的学生不到20%,那么下一年,就可以做到这个词的标准只需要达到认知就可以了。
教学资源精准投放:广西省某山村小学教师即将教到《少年闰土》,由于自身教学课件水平不高,希望找到一份适合广西省使用的教学课件,便于当地学生理解。登录某教育资源平台后,通过“广西”、“少年闰土”、“课件”、“图片丰富”等关键词搜索所需课件,再通过查看每个课件的课程标签快速找到所需资源。几次以后,平台通过大数据技术画出了这位教师的教学画像,并根据她的搜索间隔时间和六年级教学进度安排表预测她以后需要的教学内容,参照她以往选择课件的课程标签精准推送这位教师可能需要的教学资源,该教师登录平台后可立即收到平台的推送信息,做出选择。长此以往,随着该教师行为数据的增加,可以做到教师无需登录平台直接通过邮箱(或其他方式)收取平台通过大数据筛选后向她发送的教育资源。
云题库智能组卷:广西省某教师即将要出一份期中考试考卷,希望在线上找到一些可供参考的题目。登录某教育资源平台云题库系统后,先选择六年级上学期数学题库,再选择上学期前三章内容,就能看到一些期中考试试卷可供选择。该教师选择了一份标签为“适中”的试卷后,点击选择题部分即可进入选择题题库根据考察知识点标签选择所需更换的题目,再依次挑选填空题、判断题、计算题、应用题等各类题型进行同样的操作。在选择过程中教师能清晰地看到已挑选题目的知识点标签数统计、难易题分数统计,根据统计情况进行适当的调整,最后选择部分题目更改数字后,即能生成一份合适的期中考试试卷。
对小明进行行为数据跟踪,大数据分析后发现小明在英语课平均认真听讲时间仅有30min/45min,英语选择题错误率最高(30%),且以语法题为最(50%)。对小明做题过程进行数据收集分析后认为小明属于思维缓慢、思路明确型学生,因此综合来看,小明应加强做题速度,且加强语法学习,另外还可给出选择题做题技巧。
某学生因计算失误平均造成数学扣分10分,而同年级学生平均因计算失误的扣分为18分,分析认为该学生的计算弱势并不明显,可将学习精力先放在其他弱势项上,平时对计算稍加注意即可。
小红想报名三个月后的雅思考试,目标为6.5分,已通过英语六级考试500分。结合物联网采集数据和通话数据,运用大数据技术分析后认为小红每日可学习时间仅有4小时,即使再缩减其他事务,最多只能学习6小时,且分布于中午和晚上。根据大数据对雅思考生的观察,六级500分相当于雅思5.5分,同水平考生平均花费3个月每天8小时进行学习,最后雅思考试6.5分通过率为80%。因此不建议小红参加3个月后的考试,建议小红将学习时间延长到4个月,考试通过率较高。
大数据发现李老师和赵老师同为物理老师,班级平均分均为77分。李老师教导风格属于“全民提升型”,擅长讲解基础知识和难度适中的题型,全班物理成绩在80-85分的人数占70%;而赵老师教导风格属于“优升劣降”型,擅长讲解提升型知识和难题偏题怪题,全班物理成绩在90分以上人数和60分以下人数基本相等,且优生和差生之和占全班人数的55%。基于这种情况,可考虑让李老师带差生班,赵老师带优生班,发挥二人的教学特长。
结合物联网数据和家长反馈情况,发现广东省某初中班级学生完成课后作业时间平均为2小时,低于1小时的学生占20%,高于3小时的学生占10%。在低于1小时的学生中,差生占40%,可将此情况告知教师和家长,督促学生认真完成作业。在高于3小时的学生中,优生占70%,可基于3小时完成的作业量的不同重点关注做题效率较低的优生,由老师进行针对性辅导,找到低效原因,提高做题速度。另外还可结合物联网数据,对女生结伴上厕所的现象做统计,找到半年以来始终单独上厕所的女生,重点关注这类群体的心理健康,提前排查学生心理问题。
通过整合各处外部数据(百度搜索数据、教育机构学生数据、课程数据等),运用大数据技术分析后发现,用户最感兴趣的领域为语言培训(35%),语言培训中市场痛点为口语练习(60%),因此平台应主攻口语评测,结合用户希望在口语练习中实现的功能或效果(重要度排名)。此外,根据用户感兴趣领域排名和市场分析,制定平台功能实现步骤,做好顶层设计。
在建立语音数据库的过程中,利用大数据技术进行分类,将发音相似、意思相近的单词、句子进行归类,在听到用户的语音后,迅速将声波转化为模拟信号,再转化为结构化数据,快速在语音数据库中找到对应单词/句子,实现语音识别功能。
在全省甚至全国教育资源平台顶层设计的基础上,搭建湖南省长沙市教育资源共享平台,整合长沙市所有电子教学资源,并利用云存储技术上传到云端。师生即可通过互联网便捷地查看云端教学资源,打破以往各县各校的信息孤岛,实现资源共享。某校在电子教学资源上传时需要填写每份资源的基本信息,包括年级、学科等,上传成功后后台通过采集用户使用反馈,为各个教学资源贴上标签,如“适合优生”“不易理解”“中英文字幕”等,便于用户筛选合适的教学资源。教育资源精准推送可参考前文应用场景教育机构中关于教师的第一个场景。
吴女士希望为自己初二的女儿找到一位周末补习物理的教师,学生基础薄弱,希望先补习光、声部分。吴女士向O2O平台提交女儿学习需求后,后台结合地图出行数据后利用大数据技术迅速锁定了一位周六上午空闲的物理老师,该教师擅长补缺,具有7年教龄,且距离吴女士家里路程为步行30分钟。将这个匹配结果告知教师、家长双方后,两方都对这个结果非常满意,课程试讲后提升效果也不错。
整合全国智慧校园的bbs平台,连接k12阶段的学生和大学在校生,通过平台交流的方式帮助学生在上大学前形成对未来所选专业的一个基本认识。随着平台覆盖范围以及提问问题的增长,可以利用大数据技术进行有效整理分析,规划出清晰的指导路线,比如针对一个对任何专业都不了解的学生,可以设计系统提问判断环节,引导学生选择一个专业方向继续深入了解。
用户即学生和家长,由于家长是教育行业的主要付费者,因此我们分学生和家长两类应用场景做分析。
家长虽不是教育行业的直接受众,但其担任付费者、监护者的身份,可以构建出不少大数据应用场景,如学校和学生家里教育内容同步管理分析、学生安全定位系统分析等。以保障学生安全为目的的实时了解学生动态系统,结合LBS技术,记录分析学生日常学习期间行动路径,实现分析异常状况及时推送到家长、学校端,解决教育行业安全问题。整合后的学生动态数据除了最直接的学生安全服务外,结合其他影响指标可以生成新的大数据应用场景(比如分析学生去图书馆、体育场次数停留时长等数据)。
此外,家长和学生所处的社会环境不同,关注的话题自然也不同,如何让家长关注学生每天成长所处的环境更好的和学生交流,而不是只停留在考试排名这样的话题上,对学生成长也很重要。利用大数据挖掘学生关注的话题,推送给家长,并给出相应的建议。比如:最近出了一款新的卡通人物书包在小学生中很受欢迎,家长在接受类似信息后可以买孩子的生日礼物;某学校组织了中学生足球联赛,家长可以关心一下孩子在运动方面的成果。如果可以收集到每天,甚至每个班级的话题,这对于构建学生学习分析平台也具有重要参考意义。
以构建基础硬件层为底层支撑,利用云计算、大数据的数据集成、数据安全、服务器集群、数据计算与挖掘分析等技术,遵循“1 8”(1个中心平台8大技术标准)大数据标准体系,通过HIVE和HBASE构建大数据数据中心。在此基础上,公司自主研发了“国子数据魔方”业务开发平台,通过业务开发平台进行应用开发、应用发布、服务注册的信息化管理,并可以将应用以可视化界面展示给用户,为领导决策提供数据依据。
基础硬件层是由一组低廉的PC或服务器组合构建而成。基础硬件层主要承载着数据的存储、运算、容错、调度和通信等任务,对基础应用层下达的指令进行执行和反馈。
大数据特征表现在实时、交互、海量等方面,并且以半结构化、非结构化数据为主,价值密度低,为了更好地“让数据说话”,并充分发挥大数据价值效应,应坚持“能采尽采”的原则,数据源的涵盖范围要尽量大。
大数据平台涵盖了大数据场景下常用的计算场景,包含离线计算、实时计算、流式计算、数据挖掘与机器学习等。可以更容易、更方便地构建全生命周期的数据湖,使数据的加工、处理、创新过程更加丰富,从而实现数据的更大价值。
大数据平台通过一系列的认证授权和资源隔离机制,实现数据资源的安全性、可维护性、可用性、可信性。提供统一认证服务负责对使用者的身份进行验证;提供统一授权服务负责对用户的资源访问权限进行控制;提供统一资源调度负责对用户使用的底层资源进行隔离。
服务器集群是将很多服务器集中起来一起进行同一种服务,集群可以获得更高的计算速度,也可以用作备份,任何一个服务器损坏整个系统都能正常运行。群集化操作可以减少单点故障数量,实现群集化资源的高可用性。
一个中心平台:大数据业务开发平台。
8大技术标准:基础标准、数据表示标准、数据处理标准、数据存储标准、数据服务标准、数据安全和隐私标准、行业大数据标准、大数据产品测试标准。
通过对各种类型的结构化、半结构化、非结构化数据信息的采集、预处理、分析处理以及存储等相关操作,构建统一、规范、全面的大数据数据中心,为相关工作提供数据支持。
以Hadoop为核心,融合优秀技术,提供开放的数据和业务开发平台,进行应用开发、应用发布、应用注册及应用服务的信息化流程管理,从而提升了大数据应用体验,有利于发挥创新精神,创造无限价值。
大数据业务可视化分析能够将隐藏于海量数据中的信息和知识挖掘出来,为用户提供可视化的操作分析界面;为用户的相关活动提供数据依据,从而提高工作效率。
大数据信息标准为数据收集、数据处理、数据存储、数据分析与挖掘提供指导和参照标准,加快建立智慧校园信息采集、存储、公开、共享、使用、质量保障和安全管理等技术标准,引导建立信息共享交换的标准规范,促进信息资源开发利用,实现大数据汇聚整合,为大数据、云计算提供强有力的基础支撑。
抓好大数据标准体系建设,推进国家大数据战略实施,应对三方面需求:面向智慧校园教育的需要,研制开放、共享大数据标准;助力智慧校园教育创新发展,制订典型领域相关标准;保障资源安全、保护个人隐私,研制安全标准等,以数据为基本元素进行数据安全管理,规范数据的共享、使用和管理的整个流程,解决跨平台的数据交互、数据开放共享等难题。
公司对我国现有标准、在研标准和将提出的标准计划进行梳理,依据大数据技术体系,从基础、技术、产品、应用等不同角度进行分析,形成了大数据标准体系框架,按照"1 8"的理念进行设计,即以"国子数据魔方"业务开发平台为支撑,构建基础标准、数据表示标准、数据处理标准、数据存储标准、大数据服务标准、大数据安全和隐私标准、行业大数据应用标准和大数据产品测试八大技术标准。
通过平台和技术标准的建设,整合和引导资源、激活科技要素、推动自主创新与开放创新,促进大数据健康发展;加速技术积累、科技进步、创新成果推广,加速大数据在智慧校园的广泛应用,促进智慧校园全面、协调、可持续发展;解决数据共享难、数据格式不统一、数据标准不规范、数据重复建设等难题。
大数据术语、大数据参考架构、大数据平台架构标准,能够更加切合实际的对相关操作进行描述,形成统一数据标准,进而为数据库提供基础支撑和服务。
数据编码规范、元数据规范、非结构化数据、数据集统一描述规范等,确保数据信息的交互共享,进而消除信息孤岛。
数据质量评价标准、数据采集标准、数据组织标准等大数据处理阶段相关的标准规范,消除变量自身变异和数值大小的影响,为大数据应用打下良好的基础。
非关系型数据库规范、非结构化数据管理系统规范等大数据背景下的新型存储系统相关规范,有助于数据进行交互式传输和管理,提高存储量、存储速度,进而为大数据快速挖掘、提取、分析提供基础。
提供大数据实时分析服务、可视化服务等一系列大数据服务的标准化描述和接入,提升数据之间的关联性,降低数据分析的复杂度,大幅度提高分析的准确性。
大数据对外服务时,制定数据存储安全、数据传输安全、数据分析挖掘安全等方面的标准,为安全面临的内部管理和外部攻击提供可靠的数据存储、安全的挖掘分析、严格的运营监管。
相关领域大数据应用、领域大数据的分类和编码等方面的标准,能够更准确地规范各行业的数据标准,并推出与行业相匹配的产品。
大数据产品的测试场景、测试指标、测试工具等。大数据产品测试标准的建立能够公平、客观地评测大数据产品的功能和性能,对人们选择合适的大数据产品具有重要的参考价值。
为提供众多便捷易用的开发框架和服务引擎,使用户可以迅速地掌握、认知以及使用平台上开放的数据,针对不同的应用场景选择合适的服务引擎进行二次开发,公司自主研发“国子数据魔方”业务开发平台,在提供开放数据的同时,也允许用户通过该平台进行大数据应用的开发,为用户提供一体化应用开发、测试、部署、运行、管理、监控等托管环境,使应用开发人员无需关心应用的底层硬件和基础设施建设,从而提高工作效率。
大数据数据中心不是简单的硬件设备集成,也不仅仅是数据存储的中心,而是数据流通和应用服务的中心。它具备十分丰富的信息资源、安全可靠的机房设施、高水平的网络管理和十分完备的增值服务,数据中心是智慧校园信息化建设的基础性项目之一。
数据中心通过统一的数据格式实现应用系统之间的数据交换和共享。智慧校园数据中心具有以下建设意义:
1.收集、存储各类数据的同时有效地将数据管理起来,打破“信息孤岛”的存在,为智慧校园各个应用系统提供统一的数据服务,保证数据的一致性。
2.为学校部门和各位领导提供实时数据。各部门之间可以很方便地查看其他部门的公开数据;领导可以统筹查看全校所有部门的业务数据,能够直观地了解学校的情况。
3.便于后期的应用系统开发,将应用与数据分离开来,降低应用系统扩展开发的难度,为全面整合智慧校园应用系统打下坚实的基础。
大数据业务平台由组件、大数据处理引擎、APP、BI引擎构建而成。大数据业务平台是基于PAAS思想构建,并遵循SAAS标准。
组件是大数据业务平台的最基本元素,在大数据业务平台中内建组件接口标准,所有的组件都遵循该标准。在标准中定义组件的输入、私有项和输出。在业务开发过程中,通过图形化界面对一个或多个组件进行创建、编辑和关联,从而组合成一个数据处理服务对外发布。
大数据处理引擎是整个业务平台的执行中枢,通过对发布服务中的关联组件进行解析、调度、执行、迭代、合并等操作实现整个服务的平稳运行。
APP是由一个或多个发布的数据处理服务组合而成的轻应用。用户通过图形化界面编辑APP展现的数据和图表形式。
BI引擎对构建的APP的数据绑定服务和图表形式进行解析和展现。
大数据平台的构建借鉴了开源系统的先进理念,采用了Hadoop开源系统,充分利用 HDFS的可靠性,MapReduce的引入大大加强了平台在数据分析方面的弹性,使平台在可扩展性、可靠性、易用性和性能方面都有良好的表现。
Hadoop框架是一个开源的大规模数据处理平台和工具,主要来源于Google公司提出的MapReduce编程框架,GFS文件系统以及BigTable存储系统等技术。Hadoop具有庞大的家族体系,本平台的构建主要涉及到Hadoop框架的分布式文件系统HDFS和MapReduce模型。分布式文件系统作为Hadoop框架的底层,主要负责分析数据的分布式存储和管理,MapReduce模型主要是负责对大规模数据集进行计算处理。Hadoop釆用HDFS文件系统子框架来实现其所具有的存储能力,用MapReduce编程模型框架来实现其计算能力,二者的巧妙结合使得Hadoop拥有高效的存储和计算能力。
HDFS分布式文件系统是对大规模数据实现分布式存储和管理的有效工具,也是分布式计算的存储基础,具有很高的容错性和扩展性,并且对数据读写提供了的高吞吐率。HDFS实现了数据的分布式存储,使得应用程序能够更加灵活地访问大规模的数据集,同时也为后续对大规模数据的分析提供了数据平台。HDFS分布式文件系统釆用的是典型的主/从结构,这种结构极大的简化了系统的架构,使得系统更加简洁,方便系统的管理。Hadoop的分布式文件系统HDFS主要由主控制器和数据节点组成,主控制器管理名字空间和数据节点,同时管理数据块到数据节点DataNode的映射等。
文件系统中的DataNode作为数据节点,主要存储实际的数据,主要负责所在的物理结点上的存储管理,执行主控制器下达的命令。数据节点能够及时接收客户发送的读写请求,并针对这些请求完成相应的操作。从分布式文件系统的结构内部来看,数据文件被存储分割成多个数据块存储在每个数据节点上,每个数据节点存储着来自多个文件的数据块,同时每个数据节点上也会存储这些数据块的多份副本,保证后续数据操作的准确性。
MapReduce技术基于分布式文件系统,通过编写相应的处理过程能够实现对大规模数据集进行并行计算和处理,通过对不同分析模块编写相关的MapReduce处理函数能够实现对大规模数据的精确分析,同时能够控制各个节点之间完成高效的任务调度。MapReduce通过将操作分发给网络上的各个节点,每个节点会周期性的返回它所完成的工作和最新的状态,从而实现对大规模数据集的操作,这种处理方式保证了操作的可靠性。
MapReduce技术处理的方式是,首先将一个具体的任务分解成为若干个很小的任务,然后将分解后的任务分配到各个分节点,通过主节点来对分节点的任务进行管理和调度,然后得到分节点处理后的结果,再将结果整合,得到最终结果,通过多个节点之间的相互合作和调度,从而实现对大规模数据集的计算和处理。总的说来,MapReduce就是基于“分而治之”的思想实现“任务的分解与结果的汇总”。
构建高院校大数据分析平台是以智慧校园战略发展规划为蓝本,以智慧校园信息化建设纲要为依据而进行的创新性探索。以大数据建设顶层设计为基础,收集整合智慧校园教育各方面所产生数据,从数据中提取出有价值的信息和模型,推动智慧校园教育的全面创新。
大数据将成为推进学校发展的新动力,通过开展大数据顶层设计,对大数据获取、收集、整理、利用进行全面规划,从应用需求出发,明确建设目的和路径,明确什么要做,什么不要做,什么应该先做,什么应该后做,用什么模式做,做到什么程度,达到什么效果,以指导学校未来3-5年的大数据建设。
用大数据方法全面分析现有教学和管理工作,新建或升级信息系统,对教学和管理实现全过程记录,建立丰富的数据收集渠道。
如通过对现有远程教育系统进行全面升级,跳出远程教育的概念,实现对教学过程的全面支持,详细记录每个学生的学习行为数据,包括课程学习数据、视频观看数据、资料查阅数据、作业完成数据、互动交流数据、成绩数据等,将数据细分到每个行为细节,以提供超越传统系统的数据精细度,客观地反映出学习的实际状况。
通过建立物联网应用,实现对物品、人员、安全等各方面管理的强大支撑,提升管理质量的同时积累大量管理数据和行为数据。
提供优秀的个性化服务是教育和管理的重要目标之一,大数据应用则是提供规模个性化服务的必要条件,而大数据分析模型的质量决定了数据的价值。一个平时被忽略的数据在好的模型中,会产生难以想象的作用。
我们可以通过对学习行为数据的分析,了解学生的学习兴趣和学习效果,研究哪些学习方式是最容易被接受的,哪些课程的设计是最受欢迎的,或具体到某个作业问题回答的正确率以及横向和纵向的比较,并深层次的展现出其中的原因。这些数据被提供给教师,将对教学创新提供最为直接的支撑。
通过对一卡通行为数据的分析,可以了解学生的日常行为规律和消费规律,了解学生行为与学习成绩、学校效果之间的关联关系,提供学生管理创新的依据。
通过大数据的综合应用,可以建立对各项教育和管理工作的分析和判断,应用到实际工作中,从各个方面推动学校全面创新。
通过对教学过程、学习行为、学习成绩、教学满意度、教师需求量、专业师资质量、专业成熟度、行动轨迹等综合分析,建立教师画像、学生画像、专业画像,直观了解优势和不足,预测发展状况。
通过对学生人数、宿舍分配、教室使用、能源消耗、网络消耗、食堂消费、图书馆利用等进行综合分析,建立各资源利用率指数,实现数据可视化,引导管理工作的精细化和管理的扁平化。
通过对一卡通、图书借阅、专业分布、课程分布、成绩、学习行为等进行聚类分析,发现具有某些特征的特殊群体及其独有的行为方式,并利用相关性数据进行挖掘,从中发现规律。
通过对教学数据、教学效果、考勤记录、个人数据、管理数据进行综合分析,建立科学的、真实客观的教师绩效评价体系,改变传统人为评价的主观性,让大数据选出真正优秀的教师。
以下是智慧校园常见的业务系统。
这是某个智慧校园业务系统的数据流情况,我们可以发现业务系统和数据中心并未完全数据交互共享,因此我们在规划建设智慧校园大数据时
需要协调各个职能部门的资源确认业务系统的数据接口。同时由于各个业务系统之间数据不统一,我们在采集数据过程中还需进行数据转换,转换成我们所需的数据格式,这些都带来大量的工作量。
学校业务系统的数据类型和属性很多,有数百种。我们进行数据的归纳和整理后也涉及40多种数据。
比如:正方教务系统主要包括学生基本信息(籍贯、生源地等)、学业信息(已完成学分、未完成学分)、课程信息(学生已修课程、学期课程表等)、成绩信息等。
智慧校园中对大数据有具体需求的部门,以及对大数据应用的具体需求内容,在智慧校园大数据建设中需要相关的对应分析。
1、师生整体情况
2、学校舆情
3、科研水平
4、资产情况
1、学院各专业各班级的集体/个人行为画像
2、学院教师的课程和科研情况
1、评判贫困生、奖助学金结果的合理性,识别冒领人员
2、教职工的劳资情况
1、现有资产现状
2、资产发展趋势
3、各品牌资产的故障率
4、各单位资产采购规划
1、图书馆藏现状
2、图书借阅现状
3、趋势分析
4、图书采购规划
1、药品收支率
2、学校健康档案
3、传染病预防和治疗
4、分析药品副作用
1、班级成绩
2、班级/个人行为画像
3、图书借阅,推送书籍
4、科研情况
1、成绩和能力情况
2、就业市场和招聘指导
3、图书借阅
4、消费、网络
根据学生行为画像情况和企业岗位要求匹配度,推荐学生到企业实习或就业。
智慧校园大数据平台能够为高教提供一体化的大数据产品与服务,实现端到端落地。
在数据源方面,智慧校园大数据平台可以实现对学校业务系统、一卡通系统、上网行为系统、各硬件设备、校内校外各大网站论坛等的数据源获得,对于数据接口不标准或者不开发的场合也能进行针对性的办法。数据采集方面可以使用智慧校园大数据平台ETL采集工具箱和通用的采集技术为学校提供采集服务,并且根据学校业务情况和大数据需求进行针性对性数据清洗与建模工作,并为学校制定完善的数据规范标准体系。同时还能整合各类分步式数数据库、sql数据库、oralce数据库等,建设学校统一的数据仓库,并提供统一的接口给各类大数据应用服务。
智慧校园大数据平台还会为客户提供一套大数据的管理平台,用于对各个环节的有效监控与管理,包括数据状态、数据质量和准确性等,便于学校日常的运维与管理。
大数据业务应用基于Hadoop生态集群,将数字化校园相关的人、财、物、网络等结构化、半结构化和非结构化数据,利用HDFS、Mapreduce进行分布式文件存储及计算,采用关联规则分析、聚类分析、相关分析等分析方法,以各种可视化图形的方式,将结果展示给用户,为领导决策提供数据支撑。大数据业务应用包括教学创新的应用、科研创新的应用、管理创新的应用以及其他方面的创新应用。