resnet
可以想象这样一个场景,随着模型的更新,对真实结果的拟合反而越来越差,就像一个非嵌套函数。但是如果是嵌套类函数,结果只会越来越好,这就是残差网络的核心了。
嵌套就是前一个结果一定在下一个结果之中
核心是乘法变加法,确实更清晰了,本来也差不多是这么想的。
假设我们的原始输入为x,而希望学出的理想映射为f(x)。
左图虚线框中的部分需要直接拟合出该映射f(x),而右图虚线框中的部分则需要拟合出残差映射f(x) − x。残差映射在现实中往往更容易优化。
(感觉就是一个adaboost,可以说是非常像了,神经网络的串联集成)
(半年后:我当时好像真明白了🧐,确实有点像GBDT,现在怎么忘了。。。把预测值从0.3训练到0要比80.3到80简单,感觉挺共通的)
又忘了,甚至又回去看了一遍视频,把图片复制好了,结果。。。
举个例子,以恒等映射作为我们希望学出的理想映射f(x),我们只需将 右图虚线框内上方的加权运算(如仿射)的权重和偏置参数设成0,那么f(x)即为恒等映射。实际中,当理想映射f(x)极接近于恒等映射时,残差映射也易于捕捉恒等映射的细微波动。
两种不同的残差块,一个多了一个1x1卷积核来调整通道数和分辨率。
残差神经网络(Residual Neural Network,ResNet)具有以下几个优点:
1. 解决了梯度消失和梯度爆炸问题:在深层神经网络中,梯度在反向传播过程中可能会变得非常小或非常大,导致训练困难。通过引入残差连接,ResNet可以跨越多层传递梯度,避免梯度在深层网络中消失或爆炸。
(反向传播更新的不就是卷积核的那几个参数嘛,而主干后面参数基本都是0,只有x,那么梯度就会一直在1左右徘徊喽,所以不会梯度消失和爆炸)
2. 提供了更深的网络结构:传统的深层神经网络往往随着层数的增加而遇到性能下降的问题,称为退化问题。ResNet通过使用残差块,它允许网络变得更深,因为残差块可以直接输出恒等映射,即不引入额外的复杂性,保持原始信号的流动性。
不会梯度消失和爆炸,而且模型还不会退化,那不多整几层0.0
3. 提高了网络的收敛速度:由于残差连接的存在,ResNet可以更快地收敛。残差模块使训练过程中的信息流动更加顺畅,减少了训练过程中的信息丢失和冗余。
残差连接提供了一个直接的、无衰减(identity)的路径,一般的神经网络到开始那几个的时候基本上就已经没有梯度了,所以更新特别慢,而有了恒等映射(identity mapping),梯度不会消失,那更新肯定快。
4. 减少了参数量:通过使用全局平均池化层,ResNet可以将特征图降维为一个单一的特征向量,将特征图的空间维度降低。这样一来,相比于传统的全连接层,ResNet在模型参数方面更加高效,减少了存储需求和计算复杂度。
5. 提高了模型的泛化能力:残差连接可以传递信息和梯度,使得浅层的特征可以直接与更深层的特征进行交互。这种跨层联系有助于提取具有判别性的特征,提高了模型的泛化能力。
就像yolov2一样,未变化的特征图直接进入下层,可以提高泛化能力
总的来说,残差神经网络通过引入残差连接解决了梯度问题、改善了网络性能、减少了参数量、提高了泛化能力等方面的优点,成为当前深度学习中非常重要和成功的模型架构之一。
densenet
ResNet将f分解为两部分:一个简单的线性项和一个复杂的非线性项。那么再向前拓展一步,如
果我们想将f拓展成超过两部分的信息呢?一种方案便是DenseNet。
DenseBlock(2, 3, 10)两个块,3个输入通道,10个输出通道
3个变10个,连起来,输出13个
13个变10个,连起来,输出23个
13个通道分别是从前两个原封不动继承来的。
def conv_block(input_channels, num_channels):
return nn.Sequential(
nn.BatchNorm2d(input_channels), nn.ReLU(),
nn.Conv2d(input_channels, num_channels, kernel_size=3, padding=1))
class DenseBlock(nn.Module):
def __init__(self, num_convs, input_channels, num_channels):
super(DenseBlock, self).__init__()
layer = []
for i in range(num_convs):
layer.append(conv_block(
num_channels * i + input_channels, num_channels))
self.net = nn.Sequential(*layer)
def forward(self, X):
for blk in self.net:
Y = blk(X)
# 连接通道维度上每个块的输入和输出
X = torch.cat((X, Y), dim=1)
return X
blk = DenseBlock(2, 3, 10) X = torch.randn(4, 3, 8, 8) Y = blk(X) Y.shape torch.Size([4, 23, 8, 8])
每个稠密块都会带来通道数的增加,使用过多则会过于复杂化模型。而过渡层可以用来控制模型复杂度。
它通过1 × 1卷积层来减小通道数,并使用步幅为2的平均汇聚层减半高和宽,从而进一步降低模型复杂度。