自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(372)
  • 资源 (2)
  • 收藏
  • 关注

原创 F.unfold 四维展开测试

【代码】F.unfold 四维展开测试。

2025-02-11 20:33:41 75

原创 多头自注意力中的多头作用及相关思考

【代码】多头自注意力中的多头作用及相关思考。

2025-02-10 22:26:47 135

原创 torch.roll演算及代码测试

torch.roll 的作用是可以将矩阵A中的元素按照指定的维度移动指定步长。

2025-02-09 17:37:36 205

原创 torch_bmm验算及代码测试

torch.bmm的作用是基于batch_size的矩阵乘法,torch.bmm的作用是对应batch位置的矩阵相乘,比如,

2025-02-09 11:23:05 439

原创 torch_unbind&torch_chunk

torch.chunk 的作用是将矩阵按照指定维度分割成指定份数,先按照份数来均匀切割,最后的不够就单独保留。torch.unbind的作用是将矩阵沿着指定维度进行解耦分割成一个。

2025-02-08 17:37:40 497

原创 torchtext.get_tokenizer

【代码】torchtext.get_tokenizer。

2025-02-05 22:48:08 176

原创 embeddingbag词袋

词袋embeddingbag 是在embedding词表的基础上演变起来的,nn.embedding的作用是构建一个词表,通过输入index序号来索引词对应的词向量,是可以根据词索引index进行forward计算的,embeddingbag的作用是可以根据offset来按照序号将索引按照一批批来计算,offset相当于菜刀,根据offset索引将引入的词向量求均值或者求和表示出来。

2025-02-05 17:10:21 323

原创 手动计算conv1d 及pytorch源码

链接: https://pan.baidu.com/s/1WIM4Pp5nwa-uP67TMP-m8Q?pwd=uti7 提取码: uti7。conv1d的作用是进行一维的卷积计算,将卷积核沿着输入矩阵进行一维卷积,具体参考如下excel。通过网盘分享的文件:conv1d.xlsx。

2025-02-05 14:44:48 452

原创 手写单层RNN网络,后续更新

根据如下公式,简单的手写实现单层的RNN神经网络,加强代码功能和对网络的理解能力

2025-01-31 04:25:21 478

原创 torch.tile 手动实现 kron+矩阵乘法

torch.tile 是对矩阵进行指定维度的复制数据,为了实现矩阵复制,使用kron 算子将对角矩阵I 复制后形成基于行变换和列变换的矩阵。

2025-01-24 22:20:34 508

原创 Conv2d中groups=2时手动计算及pytorch源码验证

【代码】Conv2d中groups=2时手动计算及pytorch源码验证。

2025-01-19 21:00:59 309

原创 矩阵乘法实现空洞卷积

【代码】矩阵乘法实现空洞卷积。

2025-01-19 14:30:37 868

原创 unfold函数

torch.unfold函数的作用是将卷积出来的元素提取后按列向量排列提取元素按列生成矩阵。

2025-01-18 18:28:12 245

原创 多通道二维卷积手动版+pytorch版本

链接: https://pan.baidu.com/s/1q3McqwfcKO1iX-Ms0BfAGA?pwd=ttsu 提取码: ttsu。通过网盘分享的文件:conv2dtest.xlsx。

2025-01-14 13:02:23 542

原创 23、手写并验证滑动相乘实现PyTorch二维卷积

【代码】23、手写并验证滑动相乘实现PyTorch二维卷积。

2025-01-13 15:10:56 290

原创 22、PyTorch nn.Conv2d卷积网络使用教程

【代码】conv2d。

2025-01-13 13:43:20 1163

原创 cross_entropy交叉熵损失计算

在pytorch中,我们可以通过调用torch.nn.functional.cross_entropy 来计算交叉熵损失。pytorch 代码测试,cross_entropy 选择none是,单独计算每个交叉熵,默认求平均值。

2025-01-13 09:54:32 252

原创 21、Transformer Masked loss原理精讲及其PyTorch逐行实现

【代码】21、Transformer Masked loss原理精讲及其PyTorch逐行实现。

2025-01-12 21:50:58 413

原创 Masked_Filled随机置列为零

在计算损失函数的时候,我们需要将我们填充为0的地方概率置为0,以免参与损失计算,我们一般会将需要置为0的位置上面通过masked_filled函数将为True的位置置为一个非常小的值1e-9,这样经过F.softmax函数后,其值为0。

2025-01-11 21:47:14 474

原创 LayerNorm的思考

【代码】LayerNorm的思考。

2025-01-11 18:30:49 745

原创 WordEmbedding&PositionEmbedding

根据矩阵序列实现在nn.Embedding中抽取制定的行作为词向量,长度不同时,自动填充到统一长度。

2025-01-11 11:26:36 458

原创 随机置矩阵列为0[矩阵乘法pytorch版]

【代码】随机置矩阵列为0[矩阵乘法pytorch版]

2025-01-04 12:01:46 891

原创 Transformer源码分析

链接: https://pan.baidu.com/s/1ibKrF_8YyolH69xX_r4UHQ?pwd=qkjh 提取码: qkjh。通过网盘分享的文件:AttentionIsAllYouNeed.pdf。

2025-01-01 16:35:44 227

原创 cannot find declaration to to go to

【代码】cannot find declaration to to go to。

2025-01-01 11:08:32 137

原创 pycharm pytorch tensor张量可视化,view as array

【代码】pycharm pytorch tensor张量可视化,view as array。

2024-12-31 17:09:34 382

原创 vim 按下esc后取消高亮

【代码】vim 按下esc后取消高亮。

2024-12-29 15:33:46 423

原创 LossMaskMatrix损失函数掩码矩阵

【代码】LossMaskMatrix损失函数掩码矩阵。

2024-12-25 17:59:19 1141

原创 decoderMaskMatrix

输入3,5 返回上三角矩阵,前3行有效。

2024-12-23 14:51:35 625

原创 非零掩码矩阵&邻接矩阵

在深度学习过程中,我们经常会用到掩码矩阵,比如我们有一个矩阵A表示如下,希望得到矩阵B,在矩阵A的非零位置表示为1,零位置表示为0,

2024-12-22 16:42:00 785

原创 Positional Encoding-Transformer

【代码】Positional Encoding-Transformer。

2024-12-22 14:01:38 750

原创 18、深入剖析PyTorch中的Transformer API源码

2024-12-20 13:06:10 132

原创 The Annotated Transformer

The Annotated Transformer外网链接:源码解析TransformerThe Annotated Transformer

2024-12-15 20:27:56 238

原创 17、ConvMixer模型原理及其PyTorch逐行实现

后续再整理吧,太忙了,写个大概如下:

2024-12-14 19:05:46 369

原创 depth wise&point wise

point wisec * hw --> cc/p*c/pgroupsdilationstridepadding。

2024-12-13 18:40:18 337

原创 16、PyTorch中进行卷积残差模块算子融合

我们希望有一个x,用3x3的卷积核表示后依然不变,那么首先是3x3的卷积核本身移动过程中不会改变像素值,像素之间不融合,其次是空间中不融合,假设我们有一个卷积定义如下。可得: 输出通道为2,输入通道为2,卷积核大小为3,padding=“same”表示卷积核图像不变。假设我们有一个1x1的卷积核,需要通过填充变为一个3x3的卷积核,实现的是像素之间无关联。卷积权重大小为(2,2,3,3)

2024-12-11 21:52:59 893

原创 Kronecker Sum

【代码】Kronecker Sum。

2024-12-04 19:46:00 879

原创 3x3矩阵,1x1矩阵,3X3零矩阵融合,矩阵乘法

【代码】3x3矩阵,1x1矩阵,3X3零矩阵融合,矩阵乘法。

2024-12-01 14:23:37 1386

原创 矩阵乘法实现填充矩阵F.padding

输入: 有一个矩阵A ,给定需要填充零的方式,左1,右2,上3,下4。

2024-11-30 10:42:54 421

原创 15、Dropout原理以及其TF/Torch/Numpy源码实现

伯努利分布也叫0,1分布,为1的概率为p,为0的概率为1-p。

2024-11-28 11:07:39 1106

原创 14、保存与加载PyTorch训练的模型和超参数

【代码】14、保存与加载PyTorch训练的模型和超参数。

2024-11-27 21:28:43 572

MIT18.065 Linear Algebra and Learning from Data

来自教授 GILBERT STRANG 的得力之作

2023-11-16

概率图-详细笔记.zip

白板推导笔记-概率图-机器学习

2021-06-22

文件和目录常用命令.pdf

Linux常见命令思维导图,学习摘要,希望对大家有所帮助,如有问题,请及时沟通

2020-06-09

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除