大数据查询优化之分区裁剪 ？

分区裁剪

分区裁剪‌是一种优化大数据查询性能的技术，它主要通过限制查询处理的数据范围来提高查询效率。分区裁剪主要涉及到对HiveSQL语句的优化，包括列裁剪和分区裁剪两个方面。

(1). 列裁剪‌：通过在查询时只读取需要的列，避免了不必要的数据读取和处理，从而减少了I/O操作和内存消耗。
(2). 分区裁剪：通过只读取需要的分区，进一步缩小了数据查询的范围。指定查询条件，从而使查询限制在特定的分区上进行，避免了全表扫描，大大提高查询效率。Spark或Hive在查询时，具备了动态分区优化后的能力，引擎会根据查询条件和分区字段自动过滤底层数据文件。

分区裁剪的好处

(1). 提高查询性能：通过减少需要扫描的数据量，查询速度显著提高。
(2). 降低I/O操作：仅访问相关分区，减少磁盘I/O，提高效率。
(3). 提高并发处理能力：不同分区可以并行处理，提高系统吞吐量。

其他的优化策略

大数据生态的查询优化策略，除了谓词下推和分区裁剪外，在SPARK的3.X时代，它引入自适应查询，即在运行的过程中可以根据得到的缓存数据信息动态调整分区策略、动态调整JOIN策略、动态数据倾斜优化策略等，这些都是查询优化的思想。