向量化执行

一、背景

**CPU时钟速度：**时钟速度则测量 CPU 每秒执行的周期数，以 GHz（千兆赫）为单位。通常，时钟速度越高，CPU 运行速度越快。

摩尔定律（英语：Moore’s law）是由英特尔（Intel）创始人之一戈登·摩尔提出的。其内容为：集成电路上可容纳的晶体管数目，约每隔两年便会增加一倍；

从2005年开始，时钟速度停止增长，但是摩尔定律依然适用，芯片制造商继续在单位面积上放入更多的晶体管，创新的重点从更高的时钟速度转向多核和众核架构。

因为CPU的时钟速度趋于稳定，基于单个串行指令线程（感觉可以分成两个解释，一个是单线程，一个是串行指令）的传统应用程序不再能从新硬件中获得性能提升。

从那时起，大量应用程序利用不断增长的 CPU 内核数量，并行性已成为设计性能关键软件的常规部分。（任务并行性）

同时，芯片厂商也在提升指令并行性的性能，随着内核数量的增加，SIMD寄存器的宽度也在增加，利用指令级并行性称为**“vectorition”**。

把并行和Vectorization结合起来，可以最大力度地提升软件性能。感觉提升的性能是并行度*Vectorization

二、Vectorization of Code

2.1 举例

for(int i = 0; i < 4; i++) {
	c[i] = a[i] + b[i];
}

在串型指令中，CPU的寄存器没有被利用

在并行指令中，可以同时计算

如果SIMD With是512，那么最大可同时16个32位的int。

2.2 不能利用Vectorization的代码

2.2.1 循环依赖

2.2.2 非直接访问内存

2.2.3 程序不是线性执行（如方法调用，条件判断）

三、hive Vectorization

3.1 支持的数据类型和操作符

参考https://cwiki.apache.org/confluence/display/hive/vectorized+query+execution

结论：原子类型都可以支持，复杂类型不能支持

​ 大部分常用的运算符、函数可以支持，自己写的udf不能支持

如果在where条件中写了自己的udf，把udf写在and的最右边，可以使得在左边使用vectorization，把过滤后的数据走udf

参考文献

https://www.quantifisolutions.com/vectorization-part-2-why-and-what

https://www.quantifisolutions.com/vectorization-part-1-the-rise-of-parallelism

https://www.hpc.kaust.edu.sa/sites/default/files/files/public/HPCSAUDI17/1_Vectorization_Intro.pdf

https://issues.apache.org/jira/browse/HIVE-4160

https://cwiki.apache.org/confluence/display/hive/vectorized+query+execution