youzjuer的博客

如果没有写triton.jit装饰器，则会报上面的错误，fn.args_names是JITFuntion的属性。

CPU的内存是线性存储的，但是GPU的共享内存并不是线性的，而是二维的说白了就是不要一个线程束中访问一列共享内存，而是要访问一行最好就是同步线程，不同bank（同一个线程束中）

参数解释fnjitversionreprdebugnoinline返回类型。

GPU上最大的内存空间，延迟最高，使用最常见的内存，global指的是作用域和生命周期，一般在主机端代码里定义，也可以在设备端定义，不过需要加修饰符，只要不销毁，是和应用程序同生命周期的。使用共享内存的时候一定要注意，不要因为过度使用共享内存，而导致SM上活跃的线程束减少，也就是说，一个线程块使用的共享内存过多，导致更过的线程块没办法被SM启动，这样影响活跃的线程束数量。每个SM都有一定数量的由线程块分配的共享内存，共享内存是片上内存，跟主存相比，速度要快很多，也即是延迟低，带宽高。

CUDA只提供了一种块内同步的方式，块之间没办法同步。

约束字符串，定义输入输出寄存器的分配。

需要加一个-std=c++11。-I是指定依赖的库函数。

::::

1 其中Optional表示输入参数为可选项，可以为指定的类型，或者为None，默认是None2 nonlocal在Python中， `nonlocal` 关键字用于在嵌套函数中声明一个非局部变量。它允许您在内部函数中访问和修改外部函数的变量。以下是 `nonlocal` 关键字的具体用法：声明非局部变量：在内部函数中使用 `nonlocal` 关键字，然后指定要声明为非局部变量的变量名。例如：x = 10nonlocal xx = 20print(x) # 输出: 20。

pytorch的自定义拓展之（一）——torch.nn.Module和torch.autograd.Function_用torch.autograd.function还是nn.module-CSDN博客。

声明使用若干寄存器（谓词寄存器、32位寄存器和64位寄存器）。分别是当前线程块在x和y维度上的索引。从参数内存中加载函数参数到寄存器中。

【代码】cuda之transpose。

【代码】triton源码分析之setup.py。

这种方式比tl.arange的方式要提前知道具体的内存的范围大小，有助于提高计算速度。

在flash_attn目录下。

如果不采用group gemm的话，采用单流执行，则具体的硬件执行调度如下所示：gemm0，gemm1，gemm2同时分配任务给sm做 第一轮：gemm0、gemm1和gemm2的0-4分给4个sm去做，都计算完成第二轮：gemm0在上一轮已经计算完毕，gemm1和gemm2的45分给sm0，sm1去做，在这一轮可以发现，sm0和sm1针对gemm0的task出现了idel，而sm2和sm3对三个gemm的task都是idle状态而如果采用group gemm，则可以实现： 就是保证sm尽量满载，而不处于i

Triton-MLIR: 从DSL到PTX - 知乎 (zhihu.com)Superjomn's blog | OpenAI/Triton MLIR 迁移工作简介。

PyTorch 74.自定义操作torch.autograd.Function - 知乎 (zhihu.com)虽然pytorch可以自动求导，但是有时候一些操作是不可导的，这时候你需要自定义求导方式。也就是所谓的 "Extending torch.autograd"。

【BBuf的CUDA笔记】十五，OpenAI Triton入门笔记三 FusedAttention - 知乎 (zhihu.com)图解大模型计算加速系列：FlashAttention V1，从硬件到计算逻辑 - 知乎 (zhihu.com)图解大模型计算加速系列：Flash Attention V2，从原理到并行计算 (qq.com)

一 基本语法1 torch中tensor的声明x = torch.tensor([[1,2, 1, 1, 1, 1, 1, 1],[2,2,2,2,2,2,2,2]],device='cuda')

在上式中，x是代表一个tensor。

Transformer模型-Dropout的简明介绍：丢掉一些元素，防止过度拟合_transformer dropout-CSDN博客过程可以参考简单理解就是将mask为1的元素置零。

Transformer模型-Dropout的简明介绍：丢掉一些元素，防止过度拟合_transformer dropout-CSDN博客。将原有的tenser以一定的概率置零。

这个就是对内存释放了两次，如果声明的数据是数组类型，则不再需要用free去释放，如果使用free释放这个数组，则会报这个错误。

本来在网络上找了很多办法，有说gcc版本需要6.x才行，但是6.x被centos的scl工具遗弃了，根本无法下载，后来才发现是是编译选项的问题。需要加一个-std=c++11。-I是指定依赖的库函数。

ubuntu c++使用eigen提示"fatal error: Eigen/Dense: No such file or directory"的解决办法_: fatal error: eigen3/eigen/dense: 没有那个文件或目录 #incl-CSDN博客。

也可以对二进制文件执行nm命令来查看具体的符号链接。前面的是target 后面的是source。

已经在之前的代码中定义了，那么这个操作不会改变它的值。但是如果它之前未定义，这个操作会将其定义并赋予一个空值或者未定义的状态。这种用法可以帮助避免在后续代码中出现变量未定义的错误，因为在这之前已经通过。函数确保了它的存在。

ubuntu升级eigen到3.4.0_查看eigen版本-CSDN博客。ubuntu 重装/升级 eigen 教程_升级eigen-CSDN博客。

1、Linux查看显卡信息：（ps：若找不到lspci命令，可以安装 yum install pciutils）2、使用nvidia GPU可以：3、查看显卡驱动。

安装好的docker+dockerfile。

来自于官方的文档的解释说明

括号中的名字就是刚才设定的virtualenv_name。然后后续使用的pip就是虚拟环境中的pip。* 在第一步中指定了python的环境。

分别选择位1级和2级。

存在上述情况的根本原因是，地址是+1，则存储空间+8个字节，双字需要64bits，因此需要地址是64/8=8，所以双字的地址自增数为8。

在cadence中使用fpv进行formal验证

void的字面意思是“无类型”，void *则为“无类型指针”，void *可以指向任何类型的数据。，在这种情况下，我们不能修改被指向的对象，但可以使指针指向其他对象。这是定义了一个指针t，t可以制指向任意类型的值，对b不能通过上述方法（其他方法也不行）进行修改。红色字体的理解：但是b指向的内容不能修改。const是定义常量，不可修改。

【LaTeX 语法】字母表示 ( 大写、小写、异体 希腊字母 | 粗体字母 | 花体字母 )_latex字母_韩曙亮的博客-CSDN博客。

嵌入式汇编。

地址为文件结构为没有贴完整。