DANA智能大数据开发平台

DANA大数据开发平台

为您点亮数据智能

以往的微信文章推送中，小拓和大家分享过许多DANA智能大数据开发平台的整体介绍以及若干模块引擎的功能和特点。近日，DATATOM产品中心解决方案部给小拓分享了“大数据最佳实践：DANA智能大数据开发平台”的演讲PPT内容。今天，小拓给大家无保留的干货发布，也让大家换个视角，从大数据架构和应用最佳实践角度出发，了解DANA智能大数据开发平台： 

［多图干货，欢迎分享］

我们从大数据项目实践角度，看看德拓DANA智能大数据开发平台在大数据项目应用中的架构和实现，如何发挥其优势，为用户创造价值。

Google的首席经济学家Hal Varian说，数据是广泛可用的，我们所缺乏的是从中提取出知识的能力。 大数据的应用需求在我们身边无处不在，我们所熟知最经典的大数据应用案例比比皆是，比如互联网推荐系统。 大数据已不仅仅是指海量数据，还在于大数据处理技术。如何运用大数据技术结合各行各业的业务需求为用户构建大数据业务系统，带来数据价值效益，对用户来说是最为关注的。

从大数据的4V特征，到大数据技术的实现等研究，这些都是大数据应用的基础。我们研究大数据和大数据技术的目的是根据需求将数据分析的结果以容易理解的方式展现给用户，便于用户有依据地进行决策，用大数据科学的实现行业革命的更新和发展。

研究应用大数据技术最终最重要的不是怎么实现，而是怎么发现数据中隐藏的价值。DATATOM提出：“数据是谁，数据从哪儿来，数据到哪儿去”三大命题，从数据生命周期流转的角度来进行研究，倾力打造了DANA智能大数据开发平台，使得大数据技术更容易被实际应用部署，从而迅速利用大数据发现未知问题，帮助具有创新价值的大数据业务应用构建。

DANA智能大数据开发平台，不仅仅是单一的产品，更是一个生态系统。这个平台提供了众多便捷易用的开发框架和服务引擎，用户可以迅速的掌握数据，认知数据，随后可以针对不同的应用场景选择合适的服务引擎进行二次开发。DANA平台最大程度贴近用户应用大数据技术的需求。

大数据处理的系统流程和基本技术架构主要包括：数据集成、数据存储、数据管理、数据处理、数据分析和应用等。

大数据的来源极其广泛，数据类型繁杂，DANA平台的Crab大数据收集和集成引擎提供了丰富的五种类型数据集成工具，包括事务型数据、网页数据、日志文件、非结构化类型文件、针流数据实时抽取等等，并在集成和抽取时会对源数据进行清洗和预处理，保证数据质量及可信度。不同类型的数据被集成到DANA平台的不同引擎中进行存储。 数据处理和分析是整个大数据处理流程的核心，DANA结合传统的数据挖掘、机器学习、统计分析等分析技术针对不同的应用场景开发了相应的处理引擎。在分析结果的展现上，DANA开发平台的各类数据可视化工具也极具表现力。整个技术处理框架中，Yak引擎在其中进行统一的资源调度和管理。

我们都熟知传统的云计算服务的三层架构分为IAAS层、PAAS层、SAAS层。在大数据时代，为了更好的为用户提供数据服务，DATATOM提出了领先的四层架构，在原有三层架构的基础上完美地嵌入了DAAS层，是行业内唯一一家提供完善大数据服务的大数据方案解决商。DANA智能大数据开发平台融合了IAAS、PAAS和DAAS三层架构向用户提供服务，每一层都提供对应的若干服务引擎向上提供服务。

针对不同应用场景下的数据处理需求，DANA智能大数据开发平台以引擎服务的形式为开发者提供完善的功能支持。基础的数据存储服务层向上提供Moa对象存储、Boa块存储和Fox文件存储三种服务类型；平台服务层提供了诸多的数据集成、管理和处理引擎；数据服务层则提供一系列的数据分析及展现引擎，帮助用户解释数据分析结果；总体来看，每一层都进一步为上层应用提供了资源和服务。当然，用户也可以根据实际应用场景选择适当的引擎进行快速开发，新增应用。

DANA智能大数据开发平台不仅为开发者提供了简单易用的管理控制台界面，而且开放了近3000个RESTful API，囊括了数据集成、数据存储、数据处理、数据管理、数据计算、数据分析以及数据可视化等不同阶段的所有功能。

大数据技术的实现离不开云计算的支持，DANA智能大数据开发平台可以选择搭建在DATATOM的Infinity/Hyhive超融合架构的云平台上。采用超融合技术的节点进行部署，融合了存储资源、网络资源、计算资源和虚拟化技术，为上层应用提供资源服务，并可以弹性按需进行横向扩展（Scale-Out），满足未来业务处理的增长需求。

DANA智能大数据开发平台对用户来说使用方便，它支持多种开发语言，并提供多语言的SDK包。平台采用超融合架构进行部署，用户可以根据实际性能及容量需求横向扩展，帮助用户缩短研发周期，降低开发成本。

下面我们简单介绍一下DANA大数据开发平台的实践和案例。上图是一个智能大数据融合项目的部署架构，从数据来源、数据流转、数据处理分析、到数据展现和应用开发，每一层都采用对应的引擎进行处理。以用户需求为导向，完美衔接数据处理流程及应用开发。

利用DANA智能大数据开发平台，DATATOM去年在贵阳市的各个大数据项目都取得了巨大成功，并曾多次被央视等媒体报道。

交通大数据孵化器，在DANA智能大数据开发平台上整合了交通大数据资源，使各单一行业的条数据融合成交通块数据，实现数据资源的互联互通。通过数据开放为创客提供了标准的、开放的数据接口，构建起一个全面、开放、共享的创新创业环境。不仅吸引了各类企业优质数据汇聚，而且形成了创业者、数据和云计算资源提供者等多方共赢的一个局面。

大数据技术与各个行业结合，利用已有的大量行业数据，通过大数据进一步分析问题和发现未知问题，从行业特点中衍生新的需求，引爆行业新革命。DATATOM助力行业用户在大数据时代创造更多。

DATATOM作为数据智能技术提供商，我们希望基于DANA智能大数据开发平台可以与各行业用户及各行业中优秀的合作伙伴共同努力，一起为用户提供最佳的技术和最佳的解决方案！

数据智能，让未来触手可及！

-END-