大数据等现代信息技术下，传统数据库技术遇到的挑战

数据库技术从理论研究到原型开发与技术攻关，再到实际产品研制和应用，形成了良性循环。数据、应用需求和计算机硬件技术是推动数据库发展的三个主要动力。随着大数据时代的到来，数据库技术、更广义的数据管理技术和数据处理技术遇到了前所未有的挑战，也迎来了新的发展机遇。
一方面的挑战来源于数据的变化。随着数据获取手段的自动化、多样化与智能化，数据量越来越巨大，对于海量数据的存储和管理，要求系统具有高度的扩展性和可伸缩性，以满足数据量不断增长的需要。传统的分布式数据库和并行数据库在可扩展性和可伸缩性方面明显不足。数据类型越来越多样和异构，从结构化数据扩展到文本、图形图像、音频等多媒体数据，HTML、XML等半结构化/非结构化数据，这都要求系统具有存储和处理多样异构数据的能力，特别是异构数据之间联系的表示、存储和处理能力，以满足对复杂数据的检索和分析的需要。传统数据库对半结构化/非结构化数据的存储和管理十分有限。图形图像、视频音频等数据由于传感、网络和通信技术的发展使得它们的获取、传输更加便利，但这些数据的语义蕴含在流数据中，存在大量的冗余和噪声。如何快速对数据进行处理，在保存数据的同时存储其正确的元数据，现有技术还无法应对。
另一方面的挑战来源于应用和需求的发展。数据处理和应用的领域已经从OLTP为代表的事务处理扩展到OLAP分析处理。现有的分析挖掘算法缺乏可扩展性，缺乏对于复杂异构数据的高效分析算法。对数据的组织和检索都是基础性的挑战。并且，当前计算机硬件体系结构的发展十分迅猛，数据处理平台由单核处理向多核、大内存、集群平台转移。这都要求对于传统数据库系统的体系结构进行重新设计和开发，需要研究面向大数据分析的内存数据库系统。