Zhang-kg-CSDN博客

原创『UC Berkeley CS267』Lecture3: More MatMul and the Roofline Performance Model

Computational Intensity: 非常重要tmtf被称为 Machine Balance，是机器效率的关键。可以发现按照如下流程计算，最终得到的 CI 差不多就是每个矩阵块的大小 b（如果实现正确的话）。因此，为了让 CI 更大，我们需要更大的 b。

2023-03-12 14:57:24 444

原创『UC Berkeley CS267』Lecture2: Memory Hierarchies and Matrix Multiplication

并行化低效率的串行代码，只会产生低效率的并行代码。线性加速不是必须的。矩阵乘法在并行化后，一般能够获得10倍加速。

2023-03-12 00:10:10 180 1

原创『UC Berkeley CS267』Lesson1: Introduction and Overview

许多个处理器上面连接着同一块内存。分布式内存多处理器单指令多数据计算机：使用的 SIMD 方法，多核在多个数据上同时执行相同的指令。现代处理器上应该都有这种指令集支持，比如 AVX 指令集（我的电脑上支持 avx 256 指令集，在这里可以查看你的电脑支持什么 AVX 指令集）、向量指令、一般 GPU 中也会使用这种（一个 Warp 中的所有线程执行相同的指令，如果线程执行不同的指令就休息一部分线程，当然这对于性能来说非常不好）

2023-03-12 00:03:49 359 1