lifallen的博客

Velox是Meta开发的高性能C++执行引擎库，旨在解决数据处理系统中普遍存在的重复开发与执行标准碎片化问题。它采用向量化计算、智能内存管理和高效算子实现，专注于单机数据计算任务的极致性能，作为标准化“数据面”引擎供Presto、Spark等上层系统复用。通过解耦控制面与数据面，Velox显著减少了工程冗余，提升了计算效率与生态一致性，并支持Apache Arrow格式及Substrait标准，代表了数据系统向模块化、可组合化发展的重要趋势。

Velox引擎的HashTable通过多层次优化实现高性能：采用SIMD友好的128字节Bucket结构，支持16路并行比较；支持向量化批处理，实现指令级并行；自适应选择三种哈希模式（通用哈希、小整数数组、归一化键）以匹配不同场景；利用内存预取和模板元编程减少延迟；支持并行构建加速大规模Join操作。这些优化使其成为兼顾通用性与高效性的核心数据结构。