什么是通信模式
在多个线程合作解决一个问题。多线程控制,需要相互之间的交互。遇到如下问题
- 同一个空间被多个线程读取
- 同一个空间被多个线程写入
- 相邻的空间进行交换
通讯模式
映射Map
输入数据与输出数据一一对应的情况下为映射模式
聚合gatter
一个线程读取多个内存空间的值,求平均写入空间。常用于神经网络的中池化。并行化有利于神经网络计算。
分散scatter
应用:神经网络中的反卷积
模板stencil(以固定模式读取相邻的内存数值)
以固定的模板读取数值。
转置transpose
压缩reduce
重排scan/sort