- 博客(372)
- 资源 (2)
- 收藏
- 关注
原创 torch_bmm验算及代码测试
torch.bmm的作用是基于batch_size的矩阵乘法,torch.bmm的作用是对应batch位置的矩阵相乘,比如,
2025-02-09 11:23:05
439
原创 torch_unbind&torch_chunk
torch.chunk 的作用是将矩阵按照指定维度分割成指定份数,先按照份数来均匀切割,最后的不够就单独保留。torch.unbind的作用是将矩阵沿着指定维度进行解耦分割成一个。
2025-02-08 17:37:40
497
原创 embeddingbag词袋
词袋embeddingbag 是在embedding词表的基础上演变起来的,nn.embedding的作用是构建一个词表,通过输入index序号来索引词对应的词向量,是可以根据词索引index进行forward计算的,embeddingbag的作用是可以根据offset来按照序号将索引按照一批批来计算,offset相当于菜刀,根据offset索引将引入的词向量求均值或者求和表示出来。
2025-02-05 17:10:21
323
原创 手动计算conv1d 及pytorch源码
链接: https://pan.baidu.com/s/1WIM4Pp5nwa-uP67TMP-m8Q?pwd=uti7 提取码: uti7。conv1d的作用是进行一维的卷积计算,将卷积核沿着输入矩阵进行一维卷积,具体参考如下excel。通过网盘分享的文件:conv1d.xlsx。
2025-02-05 14:44:48
452
原创 torch.tile 手动实现 kron+矩阵乘法
torch.tile 是对矩阵进行指定维度的复制数据,为了实现矩阵复制,使用kron 算子将对角矩阵I 复制后形成基于行变换和列变换的矩阵。
2025-01-24 22:20:34
508
原创 多通道二维卷积手动版+pytorch版本
链接: https://pan.baidu.com/s/1q3McqwfcKO1iX-Ms0BfAGA?pwd=ttsu 提取码: ttsu。通过网盘分享的文件:conv2dtest.xlsx。
2025-01-14 13:02:23
542
原创 cross_entropy交叉熵损失计算
在pytorch中,我们可以通过调用torch.nn.functional.cross_entropy 来计算交叉熵损失。pytorch 代码测试,cross_entropy 选择none是,单独计算每个交叉熵,默认求平均值。
2025-01-13 09:54:32
252
原创 21、Transformer Masked loss原理精讲及其PyTorch逐行实现
【代码】21、Transformer Masked loss原理精讲及其PyTorch逐行实现。
2025-01-12 21:50:58
413
原创 Masked_Filled随机置列为零
在计算损失函数的时候,我们需要将我们填充为0的地方概率置为0,以免参与损失计算,我们一般会将需要置为0的位置上面通过masked_filled函数将为True的位置置为一个非常小的值1e-9,这样经过F.softmax函数后,其值为0。
2025-01-11 21:47:14
474
原创 WordEmbedding&PositionEmbedding
根据矩阵序列实现在nn.Embedding中抽取制定的行作为词向量,长度不同时,自动填充到统一长度。
2025-01-11 11:26:36
458
原创 Transformer源码分析
链接: https://pan.baidu.com/s/1ibKrF_8YyolH69xX_r4UHQ?pwd=qkjh 提取码: qkjh。通过网盘分享的文件:AttentionIsAllYouNeed.pdf。
2025-01-01 16:35:44
227
原创 cannot find declaration to to go to
【代码】cannot find declaration to to go to。
2025-01-01 11:08:32
137
原创 pycharm pytorch tensor张量可视化,view as array
【代码】pycharm pytorch tensor张量可视化,view as array。
2024-12-31 17:09:34
382
原创 非零掩码矩阵&邻接矩阵
在深度学习过程中,我们经常会用到掩码矩阵,比如我们有一个矩阵A表示如下,希望得到矩阵B,在矩阵A的非零位置表示为1,零位置表示为0,
2024-12-22 16:42:00
785
原创 The Annotated Transformer
The Annotated Transformer外网链接:源码解析TransformerThe Annotated Transformer
2024-12-15 20:27:56
238
原创 depth wise&point wise
point wisec * hw --> cc/p*c/pgroupsdilationstridepadding。
2024-12-13 18:40:18
337
原创 16、PyTorch中进行卷积残差模块算子融合
我们希望有一个x,用3x3的卷积核表示后依然不变,那么首先是3x3的卷积核本身移动过程中不会改变像素值,像素之间不融合,其次是空间中不融合,假设我们有一个卷积定义如下。可得: 输出通道为2,输入通道为2,卷积核大小为3,padding=“same”表示卷积核图像不变。假设我们有一个1x1的卷积核,需要通过填充变为一个3x3的卷积核,实现的是像素之间无关联。卷积权重大小为(2,2,3,3)
2024-12-11 21:52:59
893
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人