2020-10-28

云计算与大数据的关系

从技术上来看，大数据和云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
　　云时代的来临，大数据的关注度也越来越高，分析师团队认为大数据通常用来形容一个公司创造的大量非结构化数据和半结构化数据。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。大数据需要特殊的技术以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模的并行处理数据库、数据挖掘、分布式文件系统、分布式数据可、云计算平台、互联网和可扩展的存储系统。
　　整合是云计算的主要功能，无论你采取何种数据分析模型，还是运算方式，它都是通过将海量的服务器资源通过网络进行整合，以整理出有效的数据信息，并将其分配给各个目标客户，从而解决用户因存储资源不足所带来的问题。大数据则是数据爆发式增长所带来的一个全新的研究领域，对于大数据的研究，主要集中在如何对其进行存储和有效的分析，大数据是依靠云计算技术来进行存储和计算的。