![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
pytorch
文章平均质量分 60
本人研究生阶段研究学习笔记
乐闻w
菜鸟修炼日记
展开
-
(李沐DL)卷积
卷积层将输入和kernel矩阵进行交叉相关,再加上偏移后得到输出, 核矩阵和偏移是可学习的参数,核矩阵的大小是超参数原创 2023-04-18 20:20:19 · 151 阅读 · 0 评论 -
数据增强有哪些方法
samplepairing:随机抽取两张图片分别经过基础数据增强操作(如随机反转)处理后,直接叠加合成一个新的样本,标签为原样本标签中的一种。数据增强也叫做数据扩增,数据增广,意思是在不实质增加数据的情况下,从有限的数据产生更多变种,让有限的数据产生等驾驭更多的数据价值。aotoaugment框架:学习已有的数据增强的组合,不同的任务,需要不同的数据增强操作 有16个数据操作。采用固定的预设规则进行数据扩增,包括单样本数据增强和多样本数据增强。从零生成性的数据(无中生有): 生成对抗网络,生成新的数据。原创 2023-04-17 14:58:11 · 1647 阅读 · 1 评论 -
注意力机制笔记
在实践中经常使用多个并行的自注意力机制,成为多头注意力(multihead,Atention),即使用多个注意力矩阵和多个权重对输入值进行加权平均,随后对加权平均的结果进行拼接。自注意力机制的计算设计序列中某一个输入相对于其他所有输入之间的联系。相当于对原文做了权重输出: 通过编码器的输出和下一步的输入中引入上下文的信息,最后达到让解码器的某一个特定的解码和编码器的一些输出关联起来,即对其效应。计算编码器的输出对解码器贡献的权重,最后计算加权平均后编码器的输出,即上下文(context)原创 2023-04-03 13:15:15 · 95 阅读 · 0 评论 -
自定义输入dataset
all_imgs_path = glob.glob(r'./dataset/4weather/dataset2/*.jpg') #返回的事一个列表。#必须继承,必须创建__getitem__方法,(实现它才可以实现切片)__len__方法。#glob可以获取一定条件下所有路径。"""自定义输入dataset类。自己数据集第二种处理方式"""#初始化要传入一个路径。原创 2023-04-02 16:24:23 · 70 阅读 · 0 评论 -
resnet预训练模型以及微调
只有分类器训练好了(就是Linear层),才能微调卷积基,不然刚开始训练误差很大,微调之前的卷积层学到的东西会被破坏。共同训练新添加的分类器和部分或者全部卷积层,这允许我们微调基础模型中的高阶特征表示,一是他们与特定任务相关。#训练函数fit 必须要指定 model.train,model.eval Resnet中有BN层。4. 解冻卷积基的一部分也可以解冻全部(一般解冻靠近输出部分的卷积基)"""使用Resnet模型预训练模型+微调"""#微调的时候学习速率要更小一些。#替换掉了全链接层 是可训练。原创 2023-04-02 16:25:39 · 2270 阅读 · 0 评论 -
迁移学习VGG网络模型
"""预训练网络是一个保存好的之前已在大型数据集上训练好的卷积神经网络,那么可以有效的去提取视觉特征。"""原创 2023-04-02 14:04:45 · 171 阅读 · 0 评论 -
写完模型之后的训练函数
model.train() #指明这是train模式需要bn和drop。#打印训练epoch。原创 2023-04-01 17:14:43 · 58 阅读 · 0 评论 -
dropout和BN
2. 减少两个神经元之间复杂的共适应关系:因为dropout程序导致两个神经元不一定每次都在一个dropout网络中出现(随机森林)#批标准化:不仅在讲数据输入模型之前对数据做标准化,在网络的每一次变换之后都应该考虑数据标准化。关于nn.module里面内置的dropout 有三种方法:dropout,dropout。5. 输出y 通过Y,B的线性变换得到原来的数值,在训练的正向传播中不会改变当前输出。一般是将数据映射到指定范围,用于除去不同维度的数据的量纲以及量纲单位。2. 求每一个训练批次的数据方差。原创 2023-04-01 17:15:12 · 86 阅读 · 0 评论 -
pytorch基础部分笔记
优化函数:optimizer SGD 和min_batch 抽取m个小批量的样本,通过计算他们的平均梯度值。多分类问题: CrossENtropyLoss 输出层激活方式:无 ,二分类的问题也可以看成特殊的多分类问题。反向传播算法:梯度是反向传播的,每一层的导数都是后一层导数与前一层输出之积,这正是链式法则。使用torch.utils.data.dataLoader封装,实际就是一个生成器。RMSprop:有效且使用的深度学习算法,会读kr进行衰减。梯度下降,学习速率是缩放梯度下降的尺标,是参数优化方法。原创 2023-03-28 17:08:31 · 33 阅读 · 0 评论 -
构建一个简单多分类模型
softmax将输出C个可能的概率值,np.argmax()会返回取值最大的索引。torch.argmax()也是一样的效果。self.linear3 = nn.Linear(84,10) #输出是10类所以是10。loss_fn = torch.nn.CrossEntropyLoss() #要求的输入是logits。#nn.Linear() 全链接层 要求输入的数据都是一维的 (batch,features)imgs,lables = next(iter(train_dl)) #这里是一个迭代器。原创 2023-03-28 17:02:58 · 152 阅读 · 0 评论 -
多层感知器,解决二分类问题
多分类感知器的构建原创 2023-03-27 15:27:57 · 205 阅读 · 0 评论 -
pytorch基础---张量
关于pytorch基础张量的认识原创 2023-03-24 15:10:31 · 55 阅读 · 0 评论