- 博客(3)
- 收藏
- 关注
原创 『UC Berkeley CS267』Lecture3: More MatMul and the Roofline Performance Model
Computational Intensity: 非常重要tmtf被称为 Machine Balance,是机器效率的关键。可以发现按照如下流程计算,最终得到的 CI 差不多就是每个矩阵块的大小 b(如果实现正确的话)。因此,为了让 CI 更大,我们需要更大的 b。
2023-03-12 14:57:24
320
原创 『UC Berkeley CS267』Lecture2: Memory Hierarchies and Matrix Multiplication
并行化低效率的串行代码,只会产生低效率的并行代码。线性加速不是必须的。矩阵乘法在并行化后,一般能够获得10倍加速。
2023-03-12 00:10:10
128
1
原创 『UC Berkeley CS267』Lesson1: Introduction and Overview
许多个处理器上面连接着同一块内存。分布式内存多处理器单指令多数据计算机:使用的 SIMD 方法,多核在多个数据上同时执行相同的指令。现代处理器上应该都有这种指令集支持,比如 AVX 指令集(我的电脑上支持 avx 256 指令集,在这里可以查看你的电脑支持什么 AVX 指令集)、向量指令、一般 GPU 中也会使用这种(一个 Warp 中的所有线程执行相同的指令,如果线程执行不同的指令就休息一部分线程,当然这对于性能来说非常不好)
2023-03-12 00:03:49
224
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人