《大数据管理概论》一3.5 小结

本节书摘来自华章出版社《大数据管理概论》一书中的第3章，第3.5节，作者 孟小峰，更多章节内容可以访问云栖社区“华章计算机”公众号查看

3.5　小结

在新型存储介质中，PCM比闪存更适合作为DRAM的扩展。而且，在计算机体系结构中将PCM上升到与DRAM同等的地位，利用PCM的按字存取、非易失等特性，有望克服CPU、DRAM与数据存储之间的性能鸿沟。分层混合存储技术将是解决大数据存储问题的有效方法。一方面是因为应用数据本身存在着访问频度上的差别，二是将所有数据统一存储无论是经济上还是性能上都不可行。分布式存储技术将是解决大数据存储与管理问题的主要途径之一。这一方面是由于Hadoop分布式技术已经为现有的大数据管理提供了一种行之有效的存储方案，而且已经在Google、Facebook等公司的实际应用中得到了验证，为大数据未来研究提供了有用的借鉴；另一方面也是因为在大数据应用中数据来源、用户等本身存在着天然的分布特性，适合采用分布式存储技术。
高效能的大数据存储与管理非常重要，其主要问题集中在大数据存储技术、基于新型存储的大数据存储架构、大数据管理等方面。目前虽然已有了一些基本的大数据存储架构、模型与算法，但大都基于传统的二级存储系统架构，采用了计算与存储相分离的体系结构，没有在根本上克服大数据存储与管理中的I/O性能瓶颈问题。
基于以上背景和现状分析，未来的挑战主要集中在高效能的大数据存储体系结构、分布式随机存取文件系统、基于新型存储的大数据管理系统等关键问题上。