Spark第二代Tungsten引擎测试数据和引擎实现内幕

Spark2.X中的第二代Tungsten性能之所以能够提升10倍左右的原因：
1、去掉了虚函数的调用，极大的减少了CPU指令的无用的消耗！
2、数据直接放在寄存器中，至少提升了一个数量级的数据读写熟读！
3、现在的CPU等硬件架构对基本的条件语句，循环语句等进行了极大的优化，并且可以使用硬件加速；
4、对于复杂的数据操作，采用Vectorization的方式，采用列式的读写数据，就是一行是原来的一列；

优点：擅长CPU密集型的计算；
缺点：对I/O没有进行太多优化；

转自简书