![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
人工智能
文章平均质量分 76
thetffs
这个作者很懒,什么都没留下…
展开
-
AItoolchain相关技术学习
这是一种提高处理器指令吞吐量的方法,通过重组指令的执行顺序,使得指令可以在不同的处理阶段并行执行。:内存优化的一种技术,通过将大的数据集切分成小块(tiles),使得每一块都可以高效地加载到快速的局部内存中。:编译器在编译阶段生成目标文件(.obj),并在其中包含一些中间表示(IR)的信息,这些信息用于后续的优化。:优化后,链接器生成最终的可执行文件,这个过程中会应用更多的机器级优化,如指令选择和寄存器分配。- 分析每个GPU的计算和通信时间,调整shard的大小和通信策略,以减少总体的计算时间。原创 2024-04-18 19:59:49 · 751 阅读 · 0 评论 -
yolov7模型输出层预测方法解读
p传递的是3个输出层的预测值, (8,3,80,80,11)表示8个batch, 3个anchor, 特征图大小(80 * 80), 6分类对应的一个bbox向量维度是11。本文主要目的是为了梳理yolov7输出层预测的目标框坐标的整个过程。原创 2024-04-18 17:45:04 · 970 阅读 · 0 评论 -
yolov7网络模块解读
指数移动平均用来平滑模型训练时权重参数更新的方向。它认为模型参数的梯度跟新方向不仅与当前时刻、同历史数据也要做加权。detach()方法的作用是创建一个新的Tensor,这个Tensor与当前计算图脱离关系。它不会参与到后续的梯度传播中。此外,返回的Tensor与原始Tensor共享相同的数据存储,所以对其中一个的原地修改会影响另一个。原创 2024-04-17 12:35:16 · 426 阅读 · 0 评论 -
PositionalEncoding类代码及论文原理理解
这里实现了一个正余弦的序列位置编码。序列位置编码可以使用线性函数表示,也可以通过训练学习得到,论文中提出使用正余弦的位置编码可以使模型预测出在训练阶段没有见过的更长的序列长度。此处我的疑问是代码中使用了exp和log与公式对应不上,可能是数学功底太差我推到不出来,希望之后能弄明白。原创 2023-11-02 16:12:04 · 182 阅读 · 0 评论 -
multiheadattention类原理及源码理解
transformer中self-attention就是对一个输入序列计算每个位置的注意力,每个位置在论文原文中用d_model(512)维表示,多头就是每个位置用h(原文中8个)个头计算,这样每个头计算一个位置中的64维特征。Q = XW^Q ,其中X是embedding输入矩阵,W^Q 是一个可训练的参数矩阵,大小为(d_model* d_model),用于将X映射到Q空间。我们可以从模型中检查不同注意力头的分布,观察模型是如何关注不同位置和信息的。每个注意力头可以捕捉输入序列中的不同模式和关系,而。原创 2023-11-01 14:46:24 · 241 阅读 · 0 评论