并行笔记——SIMD编程

SIMD概念

Single Instruction Multiple Data
也就是单指令流和多数据流，对于多数据流进行相同的操作。
一个简单的例子就是向量的加减。

和MIMD的区别

SIMD拥有单个全局控制单元，而后者拥有多个控制单元+处理元素。

SIMD的应用

图像处理

音频

科学计算

基于数据的数据并行计算。

什么情况下适合应用SIMD

1. 规律的数据访问模式：数据在内存中连续存储。
2. 短数据类型
3. 流式数据处理
4. ……

Mark：原因不明，之后补上解释。

使用SIMD的优缺点

优点

1. 具有更大的并发度。
2. 设计比较简单（应该是与MIMD对比，只需要重复功能单元即可）。
3. 芯片尺寸更小。

缺点

1. 程序员开发时必须显式接触硬件。

SIMD并行的问题

SIMD并行开发，可以把多次相同的算术运算简化为一个SIMD操作；多个取数/存结果的操作，可以变成一个对于更宽的内存的一次操作（前提是内存需要连续）。

SIMD编程的复杂性

低层编程要求：

1. 数据必须对齐。
2. 数据放在连续区域存储。
3. 控制流问题可能会引入更高的复杂性。

额外开销

1. 打包、解包开销
   所谓的打包，指的是把运算对象拷贝到连续内存区域。
   解包，指的是把运算结果拷贝回内存。
2. 对齐开销
   对齐的定义是地址的开始总是向量长度的整数；对于起始地址的偏移是向量长度的整数倍。
   Mark:关于PPT中的调整没有看明白，待补充。
3. 控制流开销
   控制流开销来自当控制流存在时，所有的路径都执行。这说明一般情况下，当存在控制流问题时，SIMD不是一个好的编程模型。
   以下述为例：
   对于所有元素都执行了两个路径的计算，只是最后根据判断条件进行合并。
   

SSE/AVX编程

指令介绍

1. Blend(A, B, 0xA)
   这里的0xA即1010，作用是掩码；如果为1则取第一个参数向量的数字，如果为0则取第二个参数向量的数字。
2. Shuffle(D, D, 0xB1)
   这里的0xB1是八位二进制，分成四组；前两组是对应第二个参数的第几位，后两组是对应第二个参数的第几位。