![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习基础
文章平均质量分 93
像风一样自由的小周
这个作者很懒,什么都没留下…
展开
-
交叉熵、Focal Loss以及其Pytorch实现
这到底是怎么做到的呢?下调权重是一种技术,它可以减少容易的例子对损失函数的影响,从而使人们更加关注困难的例子。Focal Loss自然地解决了阶级不平衡的问题,(1因为来自多数类别的例子通常容易预测,而来自少数类别的例子由于缺乏数据或来自多数类别的例子在损失和梯度过程中占主导地位而难以预测。Focal loss关注的是模型出错的例子,而不是它可以自信地预测的例子,确保对困难的例子的预测随着时间的推移而改善,而不是对容易的例子变得过于自信。不同损失函数有着不同的约束作用,不同的数据对损失函数有着不同的影响。原创 2023-06-26 16:58:24 · 3678 阅读 · 0 评论 -
常见的上采样操作以及其Pytorch实现
而在实际生成的图像中,该部分却是由深深浅浅的近黑方块组成的,很像棋盘的网络。这个效应在深度卷积神经网络中的影响是很大的。就是在反卷积过程中,当卷积核大小不能被步长整除时,反卷积就会出现重叠问题,插零的时候,输出结果会出现一些数值效应,就像棋盘一样。并且,反卷积只能恢复尺寸,并不能恢复数值,因此经常用在神经网络中作为提供恢复的尺寸,具体的数值往往通过训练得到。普通的上采样采用的临近像素填充算法,主要考虑空间因素,没有考虑channel因素,上采样的特征图人为修改痕迹明显,图像分割与GAN生成图像中效果不好。原创 2023-04-17 17:23:27 · 2614 阅读 · 0 评论 -
MAE论文笔记+Pytroch实现
本篇论文提出了一个非对称自编码器架构(这里的非对称指的是Encoder和Decoder看到的东西即输入时不一样的),用来得到一个泛化能力比较强的特征提取器。进行自监督学习可以用来进行迁移学习。自编码器简单的说就是一个模型包含两个部分Encoder和Decoder,其中Encoder用来进行特征提取,Decoder用来进行还原图像。自编码器的任务是输入噪声或有损图片,输出重构好的图片,就是还原图片。通过训练,得到的特征提取器Encoder就有较强的特征提取能力,可以用来进行自监督学习。什么叫自监督学习呢?原创 2023-04-08 23:06:42 · 2053 阅读 · 4 评论 -
Rethinking Channel Dimensions for Efficient Model Design论文笔记
这里我认为是指的网络第一层的卷积层指的是模型训练中需要训练的参数总数,这里我们应该知道卷积网络中如果每一层的输出或输入通道数变多,相应的模型的参数总数也会变多。浮点数运算次数,理解为计算量,可以用来衡量算法的复杂度。一个乘法或一个加法都是一个FLOPs(注意:这里的S是大写)每秒浮点运算次数,理解为计算速度,是一个衡量硬件性能的指标。指的是输出通道数比上输入通道数。这是网络提出的一个结构。网络结构如下:这个和常见的残差模块不同地方在于中间层的通道数大于两侧的通道数,即中间宽两边窄。原创 2023-03-22 09:35:35 · 274 阅读 · 0 评论 -
深度学习数据对模型的影响
尤其是当模型参数量很大,过于复杂时得到的性能比简单模型要差,这时候往往归结于模型的pipeline还是不够强大,却忽略了数据量的大小对模型性能的影响。如果使用带有长尾分布的数据集去直接训练分类网络的话,就会导致对于占比较大的类别能够较好的预测,占比较小的类别不能够较好的预测。从数据增强的使用频率来看,不难看出数据对于模型性能的重要性。数据增强简单的说就是基于现有的数据集,通过一些列变换产生不同的数据集以此来增强网络性能。就采用对齐混合图像的方式进行数据增强,如下,获得狗的形状,企鹅的纹理的数据。原创 2023-02-28 09:10:33 · 2139 阅读 · 1 评论 -
Attention is all you need:Attention机制
最近在阅读论文发现有很多论文用到了Attention机制,一直对Attention机制的原理不大清楚,在此总结一下网上查到的好资料。我主要关注Attention机制在图像处理领域的应用,但Attention机制最初在NLP领域中提出,故在此介绍一下NLP中的Attention机制。...原创 2022-08-11 16:29:43 · 495 阅读 · 0 评论 -
ResNet简单介绍+Pytroch代码实现
当网络层数越来越深时,模型性能不如层数相对较少的模型。这将不利于构建更深的模型。现阶段有采用BatchNorm层来缓解梯度消失或者爆炸,但效果并不明显。训练集上就出现了退化情况,故不是过拟合导致。按道理,给网络叠加更多层,浅层网络的解空间是包含在深层网络的解空间中的,深层网络的解空间至少存在不差于浅层网络的解,因为只需将增加的层变成恒等映射,其他层的权重原封不动copy浅层网络,就可以获得与浅层网络同样的性能。更好的解明明存在,为什么找不到?找到的反而是更差的解?原创 2023-02-02 17:26:32 · 715 阅读 · 0 评论 -
深度学习常见损失函数总结+Pytroch实现
均方差损失(MSE)也称为L2损失,其数学公式如下:JMSE=1N∑i=1N(yi−yi‘)J_{MSE}=\frac{1}{N}\sum_{i=1}^{N}{(y_i-y_i^{`})}JMSE=N1i=1∑N(yi−yi‘)在模型输出与真实值的误差服从高斯分布的假设下,最小化均方差损失函数与极大似然估计本质上是一致的。至于啥模型输出与真实值的误差服从高斯分布,这个还真的难说,极大似然估计是概率论中用来近似计算真实分布中的参数的一种方法。Pytroch官方文档如下:官方文档介绍:size原创 2022-11-28 22:53:37 · 1684 阅读 · 0 评论 -
预训练+微调+Rethinking ImageNet Pre-training论文阅读笔记
近期在阅读何凯明大神的Rethinking ImageNet Pre-training论文,论文中对比了深度学习提分小trick——pre-training和随机初始化之间对于任务性能的差别,实验证明预训练仅提高收敛速度但不能提高模型性能,同时预训练也不能防止过拟合。这就比较有意思了,正好我对预训练还有些不了解,正好趁着这个机会整理一下。原创 2022-11-17 11:14:50 · 1108 阅读 · 2 评论 -
常见的卷积、卷积变体以及其Pytroch实现
近期读论文时发现不少论文使用的卷积不局限于常见的2D卷积,有轻量化的深度可分离卷积、改变通道数目的1*1卷积等,还有不少作者自定义的卷积网络。为了方便后期阅读论文,在此总结一下常见的卷积以及其Pytroch实现。这篇文章是建立在以及了解常见的2D卷积的基础上进行的。原创 2022-11-14 10:45:07 · 1930 阅读 · 0 评论 -
高斯滤波器
图像噪声(image noise)是图像中一种亮度或颜色信息的随机变化(被拍摄物体本身并没有),通常是电子噪声的表现。它一般是由扫描仪或数码相机的传感器和电路产生的,也可能是受胶片颗粒或者理想光电探测器中不可避免的的散粒噪声影响产生的。图像噪声是图像拍摄过程中不希望存在的副产品,给图像带来了错误和额外的信息。图像噪声的强度范围可以从具有良好光照条件的数字图片中难以察觉的微小的噪点,到光学天文学或射电天文学中几乎满画幅的噪声,在这种情况下(图像中的噪声水平过高,以至于无法确定其中的目标是什么),只能通过非常原创 2022-11-04 20:54:07 · 3886 阅读 · 0 评论 -
Pytroch常用损失函数总结
简单粗暴PyTorch之18个损失函数该博客简单的介绍了pytroch实现常见的18个损失函数的代码和公式介绍。18个损失函数如下其中nn.CrossEntropyLoss为nn.LogSoftmax()与nn.NLLLoss()结合,进行交叉熵计算.nn.NLLLoss实现负对数似然函数中的负号功能nn.BCELoss二分类交叉熵结合Sigmoid与二分类交叉熵httpshttps。...原创 2022-07-23 17:21:55 · 727 阅读 · 0 评论