CUDA-Learn-Notes 项目教程

最新推荐文章于 2024-09-13 08:29:58 发布

蔡欣洁

最新推荐文章于 2024-09-13 08:29:58 发布

阅读量662

点赞数 9

本文链接：https://blog.csdn.net/gitblog_00854/article/details/142191928

版权

CUDA-Learn-Notes 项目教程

CUDA-Learn-Notes 🎉CUDA 笔记 / 大模型手撕CUDA / C++笔记，更新随缘: flash_attn、sgemm、sgemv、warp reduce、block reduce、dot product、elementwise、softmax、layernorm、rmsnorm、hist etc. 项目地址: https://gitcode.com/gh_mirrors/cu/CUDA-Learn-Notes

1. 项目介绍

CUDA-Learn-Notes 是一个专注于 CUDA/C++ 编程的学习笔记和教程项目。该项目由 DefTruth 维护，旨在帮助开发者深入理解 CUDA 编程模型，并通过实际案例和代码示例来提升 CUDA 编程技能。项目内容涵盖了从基础的 CUDA 编程概念到高级的优化技术，包括但不限于矩阵乘法（GEMM）、向量加法（GEMV）、warp/block reduce、elementwise 操作、softmax、layernorm、rmsnorm 等。

2. 项目快速启动

2.1 环境准备

在开始之前，请确保你已经安装了以下工具和库：

CUDA Toolkit
CMake
Git

2.2 克隆项目

首先，克隆项目到本地：

git clone https://github.com/DefTruth/CUDA-Learn-Notes.git
cd CUDA-Learn-Notes

2.3 构建项目

使用 CMake 构建项目：

mkdir build
cd build
cmake ..
make

2.4 运行示例

项目中包含多个示例代码，你可以通过以下命令运行其中一个示例：

./bin/sgemm_sliced_k_f32_kernel

3. 应用案例和最佳实践

3.1 矩阵乘法（GEMM）

矩阵乘法是 CUDA 编程中的一个经典案例。项目中提供了多个 GEMM 的实现，包括不同数据类型的优化版本。以下是一个简单的 GEMM 示例代码：

__global__ void sgemm_sliced_k_f32_kernel(float* A, float* B, float* C, int M, int N, int K) {
    int row = blockIdx.y * blockDim.y + threadIdx.y;
    int col = blockIdx.x * blockDim.x + threadIdx.x;

    float sum = 0.0f;
    for (int k = 0; k < K; ++k) {
        sum += A[row * K + k] * B[k * N + col];
    }
    C[row * N + col] = sum;
}

3.2 向量加法（GEMV）

向量加法是另一个常见的 CUDA 编程任务。以下是一个简单的 GEMV 示例代码：

__global__ void sgemv_k32_f32_kernel(float* A, float* x, float* y, int M, int N) {
    int row = blockIdx.x * blockDim.x + threadIdx.x;

    float sum = 0.0f;
    for (int k = 0; k < N; ++k) {
        sum += A[row * N + k] * x[k];
    }
    y[row] = sum;
}