大数据概述

分类目录：《大数据与云计算》总目录

所谓“大数据”，指的是所涉及的数据量规模巨大到无法通过目前主流软件工具，在合理时间内达到截取、管理、处理、并整理成为帮助企业经营决策更积极目的的信息。大数据处理技术代表了新一代的技术架构，这种架构通过高速获取数据并对其进行分析和挖掘，从海量形式各异的数据源中更有效地抽取出富含价值的信息，而大数据主要被用于分析和决策，企业用以分析的数据越全面，分析的结果就越接近于真实。大数据分析意味着企业能够从这些新的数据中获取新的洞察力，并将其与已知业务的各个细节相融合，对企业产生新的价值。

大数据4V特征

Volume巨量

用现有技术无法管理的数据量，从现状来看是指从TB到PB的数量级。如今，存储的数据数量正在急剧增长中，我们存储所有事物，包括：环境数据、财务数据、医疗数据、监控数据等。有关数据量的对话已从TB级别转向PB级别，并且不可避免地会转向ZB级别。

Variety 多样

随着传感器、智能设备以及社交协作技术的激增，企业中的数据也变得更加复杂，不仅包含传统的关系型数据，还包含来自网页、互联网日志文件、搜索索引、社交媒体论坛、电子邮件、文档、主动和被动系统的传感器数据等原始、半结构化和非结构化数据。

Velocity 速度

数据产生和更新的频率，也是衡量大数据的一个重要特征。不要将速度的概念限定为与数据存储库相关的增长速率，应动态地将此定义应用到数据，即数据流动的速度，而不只是在它静止后执行分析。

Value 价值

价值密度低，导致价值发掘难度大，但经过加工及提炼后，会产生巨量价值。

大数据最大优势

大数据的最大优势就是分析预测。大数据能够从海量数据中发掘出额外的信息和事物的关联性，而且结果是完全以“数据说话”，摆脱了人们传统的主观直觉和经验判断。

大数据的关键

大数据价值发掘的关键在于打通数据链。单个数据或单个数据节点的分析发掘并不能产生太多价值，只有贯通多个数据节点形成数据链条，才能发掘出数据的巨大价值。特别在商业领域的大数据发掘，只有形成数据闭环，而且闭环内的数据节点越多，发掘的数据价值就会越大，而且更容易形成产业生态链。

4层堆栈式大数据技术架构

• 基础层：要实现大数据规模的应用，企业需要一个高度自动化的、可横向扩展的存储和计算平台。云计算能够提供弹性资源池来应对大规模问题
• 管理层：管理平台使结构化和非结构化数据管理融为一体，具备实时传送和查询、计算功能。本层既包括数据的存储和管理，也涉及数据的计算。并行化和分布式是所必须考虑的要素。
• 分析层：分析层提供基于统计学的数据挖掘和机器学习算法，用于分析和解释数据集，帮助企业获得对数据价值深入的领悟。可扩展性强、使用灵活是要考虑的要素。
• 应用层：大数据的价值体现在帮助企业进行决策和为终端用户提供服务的应用。不同的新型商业需求驱动了大数据的应用

大数据的结构类型