大数据的核心有哪些

　　对于大数据和云计算之间的关系，人们常常存在误解。而且也会把它们混起来说，分别做一句话直白解释就是：云计算就是硬件资源的虚拟化；大数据是对海量数据的高效处理。如果有一个更生动的解释，云计算就相当于我们的计算机和操作系统，将大量的硬件资源虚拟化之后再进行分配使用；大数据则相当于海量数据的“数据库”。

 

　　整体来看，未来的趋势是，云计算作为计算资源的底层，支撑着上层的大数据处理，而大数据的发展趋势是，实时交互式的查询效率和分析能力，当前的大数据处理一直在向着近似于传统数据库体验的方向发展。

 

　　大数据的4V特性，即类型复杂、海量、快速和价值，其总体架构包括三层，数据存储、数据处理和数据分析。类型复杂和海量由数据存储层解决，快速和时效性要求由数据处理层解决，价值由数据分析层解决。数据先要通过存储层存储下来，然后根据数据需求和目标来建立相应的数据模型和数据分析指标体系对数据进行分析产生价值。而中间的时效性又通过中间数据处理层提供的强大的并行计算和分布式计算能力来完成。三层相互配合，让大数据最终产生价值。

 

　　数据存储层

 

　　数据有很多分法，有结构化、半结构化、非结构化；也有元数据、主数据、业务数据；还可以分为GIS、视频、文件、语音、业务交易类各种数据。传统的结构化数据库已经无法满足数据多样性的存储要求，因此在RDBMS基础上增加了两种类型，一种是hdfs可以直接应用于非结构化文件存储，一种是nosql类数据库，可以应用于结构化和