![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 68
深浅卡布星
假装很爱敲代码的非典型计算机专业人员
展开
-
Transformer(二)—— ResNet(残差网络)
统计学中的。原创 2023-09-11 15:05:32 · 1371 阅读 · 1 评论 -
Transformer(一)—— Attention & Batch Normalization
在MASK矩阵标1的地方,也就是需要遮蔽的地方,我们把原来的值替换为一个很小的值(比如-1e09),而在MASK矩阵标0的地方,我们保留原始的值。因为在生成目标句子的单词时,不论生成哪个单词,它们使用的输入句子的语义编码C都是一样的,没有任何区别。RNN的每一个时序是一个前馈神经网络,但是为了在每一个时刻都包含前边时序的信息,所以RNN的每个时序共享了隐藏层,即当前时刻的输入不仅包含了当前时刻的词,还包含了前一时刻的隐藏层的输出。举例来说明MASK矩阵的含义,每一行表示对应位置的token。原创 2023-09-08 11:02:49 · 357 阅读 · 0 评论 -
模型的保存加载、模型微调、GPU使用及Pytorch常见报错
断点续训练技术就是当我们的模型训练的时间非常长,而训练到了中途出现了一些意外情况,比如断电了,当再次来电的时候,我们肯定是希望模型在中途的那个地方继续往下训练,这就需要我们在模型的训练过程中保存一些断点,这样发生意外之后,我们的模型可以从断点处继续训练而不是从头开始。而反序列化,就是将硬盘中存储的二进制的数,反序列化到内存当中,得到一个相应的对象,这样就可以再次使用这个模型了。所以在模型的训练过程当中, 以一定的间隔去保存我们的模型,保存断点,在断点里面不仅要保存模型的参数,还要保存优化器的参数。原创 2023-08-29 15:08:46 · 853 阅读 · 0 评论 -
学习率调整策略
下面就看看这个Scheduler是如何使用的, 当然是调用step()方法更新学习率了, 那么这个step()方法是怎么工作的呢?我们在训练模型的时候,一般开始的时候学习率会比较大,这样可以以一个比较快的速度到达最优点的附近,然后再把学习率降下来, 缓慢的去收敛到最优值。方法, 而这个方法需要我们写Scheduler的时候自己覆盖,告诉程序按照什么样的方式去更新学习率,这样程序根据方式去计算出下一个epoch的学习率,然后直接更新进优化器的。: 关联的优化器, 得需要先关联一个优化器,然后再去改动学习率。原创 2023-08-27 16:17:27 · 206 阅读 · 0 评论 -
优化器调整策略
损失函数的作用是衡量模型输出与真实标签的差异。当我们有了这个loss之后,我们就可以通过反向传播机制得到参数的梯度,那么我们如何呢?原创 2023-08-26 14:34:23 · 218 阅读 · 0 评论 -
损失函数介绍
用softmax,就可以将一个输出值转换到概率取值的一个范围。原创 2023-08-24 17:10:04 · 1107 阅读 · 0 评论 -
权重初始化
方差要维持在一定范围之内,不然可能出现梯度爆炸或者消失的情况。由于加上激活函数后,所以要选择适合该激活函数的权重初始化方法系统学习Pytorch笔记六:模型的权值初始化与损失函数介绍权重初始化。原创 2023-08-24 16:49:10 · 280 阅读 · 0 评论 -
transforms——PILImage->tensor
数据加载数据加载:将RGB的图像数据变成可以计算的tensor。原创 2023-08-24 13:25:27 · 283 阅读 · 0 评论 -
DataLoader
Pytorch学习笔记原创 2023-08-23 20:11:06 · 144 阅读 · 0 评论 -
优化器:torch.optimizer
torch原创 2022-10-18 17:18:35 · 1708 阅读 · 0 评论 -
现有网络模型的使用和修改
pytorch原创 2022-10-19 10:18:53 · 1820 阅读 · 0 评论 -
神经网络完整模型训练套路
pytorch原创 2022-10-19 20:19:48 · 2017 阅读 · 0 评论 -
神经网络中的各种损失函数
pytorch原创 2022-11-21 21:35:30 · 776 阅读 · 0 评论 -
PIL中的Image转化为数组array的方法
pytorch原创 2022-11-21 16:34:00 · 1447 阅读 · 0 评论 -
python:__getitem__方法详解
pytorch原创 2022-11-21 15:05:39 · 456 阅读 · 0 评论 -
BN批量归一化操作
BN原创 2022-11-17 20:55:26 · 174 阅读 · 0 评论