NIST Big Data Interoperability

简介

大数据是一个术语，用于描述网络、数字化、传感器负载、信息驱动的世界中的大量数据。虽然大数据存在机遇，但数据可能会淹没传统的技术方法，数据的增长速度超过了数据分析领域的科技进步。为了推进大数据方面的进展，NIST大数据公共工作组(NBD-PWG)正在努力就与大数据相关的重要基本概念达成共识。结果在NIST大数据互操作性框架系列卷中进行了报告。本卷，第5卷，介绍了参考体系结构调查的结果。详细描述了审查的参考体系结构，随后是参考体系结构比较的摘要
本文档**《NIST大数据互操作性框架:第5卷体系结构白皮书调查》**由NIST大数据公共工作组(NBD-PWG)参考体系结构分组编写，旨在促进对大数据操作复杂性的理解，并作为使用通用参考框架开发特定系统体系结构的工具。该小组调查了目前由支持大数据框架的领先公司或个人发布的大数据平台，并对材料进行了分析。这项工作揭示了大数据架构的显著一致性。被调查的架构中最常见的主题概述如下。
大数据管理
结构化、半结构化和非结构化数据速度、种类、数量和可变性
SQL和NoSQL分布式文件系统大数据分析描述性、预测性和空间性
实时交互式批处理分析报告
仪表板大数据基础设施
内存数据网格操作数据库分析数据库关系
数据库平面文件内容管理
系统横向可扩展架构NIST大数据互操作性框架由七个部分组成，
每个部分都针对一个特定的关键主题，源自这七卷是:第1卷，定义；第2卷，分类；第3卷，用例和一般要求；第4卷，安全和隐私；第5卷，架构白皮书调查；第6卷，参考架构；第7卷，标准路线图
NIST大数据互操作性框架将发布三个版本，对应于NBD-PWG工作的三个开发阶段。这三个阶段旨在实现NIST大数据参考架构的以下目标。阶段1:确定高级大数据参考体系结构的关键组件，这些组件与技术、基础架构和供应商无关。阶段2:定义NBDRA组件之间的一般接口。阶段3:通过通用接口构建大数据通用应用程序，验证NBDRA。本卷第1.5节重点介绍了分组在第2阶段的潜在未来工作领域。本卷中记录的当前工作反映了在快速发展的大数据领域中开发的概念。

背景

商业、学术和政府领导人广泛认同大数据在激发创新、推动商业和推动进步方面的巨大潜力。
大数据是一个通用术语，用于描述当今网络化、数字化、传感器负载和信息驱动的世界中的海量数据。大量数据资源的可用性有可能回答以前无法回答的问题，包括以下问题:如何能够足够早地可靠检测到潜在的大流行并进行干预？
在合成具有先进性能的新材料之前，能否对这些材料进行预测？
在防范网络安全威胁方面，攻击者目前相对于防御者的优势如何逆转？大数据压倒传统方法的能力也得到了广泛认同。数据量、速度和复杂性的增长率超过了数据分析、管理、传输和数据用户领域的科技进步。尽管对大数据固有的机遇和当前的局限性有着广泛的共识，但在一些重要的基本问题上缺乏共识继续困扰着潜在用户，阻碍着进展。这些问题包括以下内容:什么属性定义了大数据解决方案？
大数据与传统数据环境和相关应用有何不同？
大数据环境的基本特征是什么？
这些环境如何与当前部署的架构集成？
为了加速部署强大的大数据解决方案，需要应对哪些核心科学、技术和标准化挑战？
在这种背景下，2012年3月29日，白宫宣布了大数据研究和开发计划。1该计划的目标包括帮助加快科学和工程领域的发现速度，加强国家安全，以及通过提高从大量复杂的数字数据中提取知识和见解的能力来转变教学和学习方式。六个联邦部门及其机构宣布了超过2亿美元的承诺，涵盖80多个项目，旨在显著改善从海量数字数据中访问、组织和得出结论所需的工具和技术。该计划还要求行业、研究型大学和非营利组织与联邦政府合作，充分利用大数据创造的机会。在白宫倡议和公众建议的推动下，国家标准与技术研究所(NIST)接受了挑战，鼓励行业专业人士合作，以进一步安全有效地采用大数据。作为2013年1月15日至17日举行的NIST云和大数据论坛的一项成果，人们强烈鼓励NIST创建一个公共工作组来开发大数据互操作性框架。论坛参与者指出，该框架应定义大数据需求并确定其优先级，包括互操作性、可移植性、可重用性、可扩展性、数据使用、分析和技术基础架构。这样，该框架将加快采用最安全、最有效的大数据技术和工艺。
2013年6月19日，NIST大数据公共工作组**(NBD-PWG)成立**，来自全国各地的行业、学术界和政府广泛参与。NBD-PWG协议的范围包括形成一个包括工业、学术界和政府在内的所有部门的利益共同体，目标是在定义、分类、安全参考体系结构、安全性和隐私方面达成共识，并由此形成一个标准路线图。这种共识将创建一个供应商中立、技术和基础设施独立的框架，使大数据利益相关方能够在最合适的计算平台和集群上为其处理和可视化需求确定和使用最佳分析工具，同时也允许大数据服务提供商实现增值。
NIST大数据互操作性框架由七卷组成，每一卷都涉及一个特定的关键主题，这是NBD-PWG研究所的工作成果。这七卷是:第1卷，定义；第2卷，分类；第3卷，用例和一般要求；第4卷，安全和隐私；第5卷，架构白皮书调查；第6卷，参考架构；第7卷，标准路线图

NIST大数据互操作性框架将发布三个版本

对应于NBD-PWG工作的三个阶段。这三个阶段旨在实现NIST大数据参考架构的以下目标。)
阶段1:确定高级NBDRA关键组件，这些组件与技术、基础架构和供应商无关。
阶段2:定义NBDRA组件之间的一般接口。阶段3:通过通用接口构建大数据通用应用程序，验证NBDRA。本卷第1.5节重点介绍了分组在第2阶段的潜在未来工作领域。本卷中记录的当前工作反映了在快速发展的大数据领域中开发的概念。

关键组件

大数据分析平台应该是纵向和横向可扩展的，这可以在使用基于云的平台和云间集成模型和架构时自然实现

还有很多其他平台的大数据架构，这里不一一列举

结论

通过收集、审查和比较大数据架构实施，发现了许多共性。被调查的架构之间的这些共性有助于NBDRA的发展。尽管每个大数据系统都是根据特定实施的需求定制的，但大多数实施中都包含某些关键组件。在调查的体系结构中观察到三个通用组件，如下所述，每个组件都列出了关键注意事项。图18包含关于三个通用组件的附加信息。

数据管理和存储

结构化、半结构化和非结构化数据的大的数量
种类、速度和可变性
分布式文件系统
SQL和NoSQL

大数据分析和应用程序界面

描述性、预测性和空间性，
实时
交互式
批处理分析
报告

大数据基础架构

内存数据
网格操作
数据库分析
关系数据库
平面文件内容管理系统
水平可扩展架构

大多数被调查的体系结构为数据用户/消费者和协调者提供支持，并提供系统管理、数据资源管理、安全和数据治理等功能。这些体系结构还显示出普遍缺乏标准化和充分的支持来解决数据安全和隐私问题。额外的数据安全和隐私标准化将加强大数据平台。