MariaDB columnstore是一个利用大规模并行分布式数据架构的列式存储引擎,从MariaDB 10.5.4开始,它可以作为MariaDB server的存储引擎
列式存储
跟传统的行存储不同,它将每一列的数据分别存储。这样,当执行查询时,数据库只需要读取涉及到的列,而不是整行数据。这在处理大型数据集和复杂查询时特别有效,因为它减少了I/O操作和内存使用,从而提高了查询性能。
压缩
columnstore会自动对数据进行压缩,从而减少存储空间和I/O成本
分布式架构
水平和垂直分区,可以将数据分布到多个节点进行处理,提高了处理能力和容错性
高性能查询
columnstore使用独特的向量化查询技术,将每个列中的数据打包成向量进行计算,能够利用CPU架构的优势,可以在处理海量数据时获得大量的查询性能
实时数据加载
可以在不中断现有的查询情况下,将新数据添加到现有数据集中
columnstore适用场景
特别使用大数据的场景:columnstore会对数据进行压缩,可以显著减少存储空间和IO操作,并且可以使用缓存技术来加速数据访问速度
高并发OLTP的应用场景:在高并发OLTP应用程序中,虽然传统的行式存储表现出色,但使用columnstore会获得更高的性能,由于columnstore可以存储更多的数据,减少读取操作,所以可以更好的处理高并发负载,从而提高整个系统的吞吐量
实时分析场景:columnstore可以更快的扫描大量数据,并提高查询速率,因此它成为实时数据分析的理想选择。