本文分析了特定领域（如金融、航空航天、网络安全等）大数据的发展现状，提出了面向这些领域的参考架构，强调了大数据标准体系的重要性。研究涵盖了大数据安全、可靠性、时效性和多样性需求，以及数据质量的标准。提出的大数据参考架构包括数据源层、管理层、计算层、应用层、通信协议和标准以及安全维护管理，旨在实现大数据系统的互连、互通、互操作。此外，还构建了特定领域大数据标准体系，包括基础、技术、平台、应用、安全和质量六个部分的标准，为相关领域的标准化建设提供指导。
林旺群, 高晨旭, 陶克, 邓波, 包阳
北京系统工程研究所，北京 100101
摘要：分析了与国家民生和安全密切相关的特定领域的大数据发展现状，介绍了大数据标准研究的相关工作。研究了特定领域大数据的特点和现实需求，给出了适合这些领域大数据建设的参考架构，结合大数据主流技术和基础平台，详细分析了特定领域大数据参考架构的不同部件。考虑大数据未来技术发展，梳理了面向特定领域大数据标准体系发展脉络，提出了相应的大数据参考标准体系，为面向特定领域大数据相关体系架构和标准化建设提供技术参考。
关键词：特定领域大数据；参考架构；标准体系
中图分类号：TP391 文献标识码：A
doi:10.11959/j.issn.2096-0271.2017041
Research on big data platform architecture and standardization for specific fields
LIN Wangqun, GAO Chenxu, TAO Ke, DENG Bo, BAO Yang
Beijing Institute of System Engineering,Beijing 100101,China
Abstract: The research development and related works of big data were analyzed.According to the characteristics of big data and the particularly requirements of the specific fields mentioned above,the reference architecture was presented.The different components of the inference architecture in detail combing the mainstream technology and basic platform were analyzed.The milestones of big data standardization were studied and the standards system of big data was presented.All of these contribute the technology development of reference architecture and standardization of big data in future,and provide technical reference for architecture-oriented and standardization-oriented construction of large data-related fields.
Key words: big data in specific fields, reference architecture, standards system
论文引用格式：林旺群, 高晨旭, 陶克, 等. 面向特定领域大数据平台架构及标准化研究[J]. 大数据, 2017, 3(4): 46-59.
LIN W Q, GAO C X, TAO K, et al. Research on big data platform architecture and standardization for specific fields[J]. Big data research, 2017, 3(4): 46-59.
1 引言
随着移动互联网、物联网和云计算等技术的不断进步和用户数量的急剧增加，与国家民生和安全密切相关的银行、电子商务、航空航天、网络安全、应急反恐、军事对抗等特定领域（以下简称“特定领域”）产生的数据规模急剧增长。这些数据具有类型复杂、结构多样、体量巨大、价值密度低、挖掘潜力巨大等特点，大数据时代已经来临[1,2,3]。与其他领域大数据相比，上述特定领域应用大数据有独特的要求。一是安全性要求更高，比如在与网络安全相关的大数据系统中，需要考虑应对信息对抗条件下的各类安全威胁，对数据和系统的保护和授权必须严格遵守相关权限管理要求[4]。二是可靠性要求更高，从硬件到软件，从数据到应用，在大数据系统的各个层次都要提供各类容错抗毁措施。比如航空航天领域的在轨通信卫星7×24 h不间断地向地面发送图像影片资料，同时地面基站需要实时向太空卫星发送各类指令数据，这就要求相关大数据系统具有高稳定性。三是时效性要求更高，对各类动态信息的收集、融合和分析速度往往要求达到实时或近实时。比如在银行领域，在大型节假日等高峰期，相关大数据系统每秒需要处理的事务数已经超过十万条。四是多样性要求更高，尤其是各类传感器产生的动态流数据占据重要比例。比如在应急反恐和军事对抗领域的相关大数据处理平台中，需要全面分析互联网、战场物联网传送过来的文本、图片、语音、视频等各类数据。五是数据质量要求更高。比如在银行信用卡消费相关业务中，需要对实时处理的各类数据进行真伪校验和欺诈识别。在事关国计民生和国家安全的特定领域，在复杂对抗条件下数据质量攸关成败，对其甄别、清洗、融合和分析处理要求更为严格[5]。
大数据强调尊重事实理念，将精准计算与概率评估两种客观要求有机统一，突出用数据来评估、用数据来管理、用数据来决策、用数据来创新[6]。大数据相关技术是对传统数据处理技术进行继承和创新，通过有效解决大数据的高效存储、快速计算、多维关联、深度分析、趋势预测和辅助决策等问题，挖掘大数据隐藏的客观规律，预测事物及行为发展变化的趋势，支持做出正确的判断与决策。大数据已经成为国家竞争的战略前沿、企业创新发展的重要来源。
面向特定领域的大数据标准化工作是实现相关大数据系统互连、互通、互操作的重要前提，是实现大数据系统中重要信息跨部门、跨领域、跨平台安全共享的坚实基础。加强特定领域大数据平台架构研究，构建特定领域大数据相关标准体系，对加速这些领域大数据的快速发展具有重要意义。
2 相关工作
2.1 主要国家相关战略
美国政府的网络与信息技术研发（NITRD）计划早在2011年就成立了大数据高级指导小组，负责大数据项目的遴选、启动和协调。2012年3月美国政府发布《大数据研究和发展倡议》，将大数据提升为国家战略。2013年4月美国国会科学、空间和技术委员会下的研究专委和技术专委专门就“下一代计算与大数据分析”举行联合听证会，邀请政府部门（自然科学基金委员会）、IT企业（IBM）和教育部门（北卡罗来纳州立大学）的专家就大数据的影响及国家应做的工作进行深入讨论和佐证。欧盟2011年12月推出《开放数据战略》，以开放数据为核心，制定了迎接大数据时代的相关策略。受此影响，各界从领域需求出发，积极推进大数据应用。欧盟通过“开放数据平台”向公众提供包括地理、大气、国际贸易、农业等信息在内的5 815个数据集，大力推进了欧洲数字化进程。日本政府2013年发布《创建最尖端IT国家宣言》，阐述2013—2020年期间以发展开放公共数据和大数据为核心的日本新IT国家战略。日本产业界也十分强调利用大数据的相关理念方法解决工程应用中的实际问题。此外，英国、法国、澳大利亚等国家也相继制定了相关大数据国家发展战略。
我国政府2014年《政府工作报告》将大数据列为我国政府推动国家科技创新和引领经济结构优化升级、赶超国际先进水平、引领国家未来产业发展的六大战略性创新产业之一。2015年6月，国务院办公厅印发《关于运用大数据加强对市场主体服务和监管的若干意见》指出“加强政府信息标准化建设和分类管理”。同年8月，国务院以国发〔2015〕50号印发《促进大数据发展行动纲要》，明确指出要建立标准规范体系，推进大数据产业标准体系建设，加快建立大数据市场交易标准体系。
2.2 特定领域研究情况
在银行、电子商务等核心金融领域，大数据建设十分关注建立各应用之间的数据共享交互标准，消除应用之间的数据壁垒和信息孤岛，统一业务和技术的
最低0.47元/天 解锁文章
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
