深度学习理论篇
文章平均质量分 65
C_小米同学
悄无声息,逆流而上!
展开
-
深度学习基础:BN层并不适用所有深度学习任务
BN层基于一个mini-batch的数据计算均值和方差,而不是基于整个训练集来做,相当于在进行梯度计算是引入噪声,因此BN不适用于对噪声敏感的强化学习、生成模型等。原创 2022-10-31 17:11:35 · 639 阅读 · 1 评论 -
深度学习基础:with torch.no_grad()或@torch.no_grad() 用法
with torch.no_grad()或@torch.no_grad() 用法原创 2022-08-20 20:08:25 · 1783 阅读 · 1 评论 -
可解释深度学习:从感受野到深度学习的三大基本任务:图像分类,语义分割,目标检测,让你真正理解深度学习
深度学习一直作为一个“盲盒”被大家诟病,我们可以借助深度学习实现端到端的训练,简单,有效,但是我们并不了解神经网络的中间层到底在做什么,每一层卷积的关注点是什么。我在之前的专题浅谈图像处理与深度学习中提到,我们在深度学习刚开始的时候,我们要实现一个任务,比如:把不清晰的图像变清晰,我们随意的搭建了三层网络,然后开始训练,发现效果比传统的图像处理方法好,而且简单有效,然后我们再随意的搭建四层网络,发现四层网络比三层网络效果还好,我们也许有一种感性的认识:随着网络层的增加,网络的参数的增加,网络能够学...原创 2022-07-31 17:00:59 · 4440 阅读 · 71 评论 -
深度学习基础:深入理解Squeeze-and-Excitation (SE)网络
对于CNN网络来说,其核心计算是卷积算子,其通过卷积核从输入特征图学习到新特征图。从本质上讲,卷积是对一个局部区域进行特征融合,这包括空间上(H和W维度)以及通道间(C维度)的特征融合 我们可以发现卷积实际上是对局部区域进行的特征融合。 这也导致了普通卷积神经网络的感受野不大,当然你也可以设计出更多的通道特征来增加这个,但是这样做导致了计算量大大的增加。因此为了空间上融合更多特征融合,或者是提取多尺度空间信息。也提出了许多不同的方法如Inception网络的多分支结构。对于channel维度的特征融合,卷积原创 2022-06-19 17:10:49 · 4284 阅读 · 3 评论 -
深度学习入门基础:图像分类网络整理(最全)
目录图像分类Lenet1.简介2.网络结构Alexnet1.简介2.网络结构VGG1.简介2.网络结构3.VGG改进点总结GoogLeNet1.网络简介2.inception的结构3. 1x1卷积核的主要作用4. 几点说明Resnet1.简介2.网络结构DenseNet1.简介2.网络结构EfficientNetEfficientNetV2sufflentV2sufflenet时间轴代码实现训练结果对比图像分类实质上就是从给定的类别集合中为图像分配对应标签的任务。也就是说我们的任务是分析一个输入图像并返回一原创 2022-06-14 17:17:50 · 6831 阅读 · 4 评论 -
深度学习基础:残差网络为何可以解决梯度消失
普通网络:对损失函数进行求导 (1)残差网络对损失函数进行求导 (2)对别两个(1)(2)我们可以发现:(1)中,当一种的几个偏导很小的时候,梯度会迅速趋近于0,但是(2)中,要趋近于0,条件比较苛刻,要么前面一部分趋近0,要么后一部分趋近-1总的来说,残差网络并不是解决了梯度消失问题,而是在一定程度上规避了问题,让其很难梯度消失。.........原创 2022-05-08 22:14:11 · 2728 阅读 · 4 评论 -
深度学习基础:一次读懂CNN感受野
感受野基本概念1.输出feature map上的一个单元对应输入层 上的区域大小2.感受野的增速是直接和卷积步长累乘相关,想要网络更快速的达到某个感受野尺度,可以让步长大于1的卷积核更靠前,这样可以增加网络推理速度,特增图的分辨率会迅速变小3.当有效感受野的区域能够覆盖全图时,这时的特征表达能力是最好的(有效感受野跟关注中间的内容)4. 1x1的卷积相当于全连接层,可以用前者代替后者,形成全卷积......原创 2022-05-18 18:07:14 · 710 阅读 · 1 评论 -
深度学习之超分辨率,视频增强基础:光流估计与可变性卷积
在进行视频超分辨率、压缩视频增强等任务的时候,我们通常会把目标帧和参考帧进行帧对齐,而帧对齐分为两种:显式帧对齐(光流估计+运动补偿)、隐式帧对齐(可变性卷积、3D卷积、循环神经网络等,这里只讲可变性卷积)。...原创 2022-05-11 21:09:16 · 3704 阅读 · 20 评论 -
深度学习基础:1x1的卷积为什么代替全连接
1x1的卷积作用我们肯定很好理解:跨通道的特征整合比如:输入的特征是32x64x64(32为通道数),我想要把32个通道的信息进行融合,最后输出8个特征,那我们就可以设计1x1的卷积核为:输入通道:32,输出通道:8。特征通道的升维和降维上面的例子也是一个降维的操作,我们把32通道的特征图融合成了8通道的特征图,这样做可以融合不同的特征模式(其本质是增大感受野)。升维是把特征上升到更高维度,比如,我们设计1x1卷积核为:输入通道:32,输出通道:64,这样可以得到更多的特征模式。减少卷积原创 2022-05-18 11:38:54 · 3767 阅读 · 10 评论