网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
摘要
==
上周学习了EfficientNetV2的论文,并对其进行了翻译,如果对论文感兴趣的可以参考我的文章:https://blog.csdn.net/hhhhhhhhhhwwwwwwwwww/article/details/117399085。
在EfficientNets的第一个版本中存在三个缺点:
(1) 用非常大的图像尺寸训练很慢;而且输入较大的图像必须以较小的批大小训练这些模型,这大大减慢了训练速度,但是精度反而下降了。
(2) 在网络浅层中使用Depthwise convolutions速度会很慢。
(3) 每个阶段都按比例放大是次优的。
EfficientNetV2针对这三个方面的缺点做了改进:
1、针对图像的大小的问题,作者提出了自适应正则化的渐进式学习的方法,详见论文的4.2节
2、针对Depthwise convolutions在早期层中很慢的问题,作者提出了 Fused-MBConv 模块来代替部分的MBConv。
3、针对每个阶段都按比例放大是次优的问题,作者使用非均匀缩放策略来逐步添加 到后期阶段。
作者对EfficientNetV2做了三方面的总结
•我们引入了 EfficientNetV2,这是一个新的更小、更快的模型系列。 通过我们的训练感知NAS 和扩展发现,EfficientNetV2 在训练速度和参数效率方面都优于以前的模型。
• 我们提出了一种改进的渐进式学习方法,它可以根据图像大小自适应地调整正则化。 我们表明它可以加快训练速度,同时提高准确性。
• 我们在 ImageNet、CIFAR、Cars 和 Flowers 数据集上展示了比现有技术快 11 倍的训练速度和 6.8 倍的参数效率。
总之,一句话,我们的新模型又快又准而且还小,大家赶快用吧!下面我就讲讲如何使用Pytorch实现EfficientNetV2。
代码实现
====
EfficientNetV2和EfficientNet一样也是一个家族模型,包括:efficientnetv2_s、efficientnetv2_m,、efficientnetv2_l、efficientnetv2_xl。所以我们要实现四个模型。
激活函数
激活函数使用SiLU激活函数,我对激活函数做了总结,感兴趣的可以查看:CNN基础——激活函数_AI浩-CSDN博客
SiLU (Swish) activation function
if hasattr(nn, ‘SiLU’):
SiLU = nn.SiLU
else:
For compatibility with old PyTorch versions
class SiLU(nn.Module):
def forward(self, x):
return x * torch.sigmoid(x)
SE模块
SE模块,我在前面的文章中已经介绍了。现在直接将SE模块拿过来使用。
class SELayer(nn.Module):
def init(self, inp, oup, reduction=4):
super(SELayer, self).init()
self.avg_pool = nn.AdaptiveAvgPool2d(1)
self.fc = nn.Sequential(
nn.Linear(oup, _make_divisible(inp // reduction, 8)),
SiLU(),
nn.Linear(_make_divisible(inp // reduction, 8), oup),
nn.Sigmoid()
)
def forward(self, x):
b, c, _, _ = x.size()
y = self.avg_pool(x).view(b, c)
y = self.fc(y).view(b, c, 1, 1)
return x * y
定义MBConv模块和Fused-MBConv模块
这两个模块是整个模型实现的核心,模块的详细构造如下图:
我们可以看到MBConv模块,经过1×1的卷积,然后channel放大四倍,再经过depthwise conv3×3的卷积,然后经过SE模块后,再经过1×1的卷积,把channel恢复到输入的大小,最后和上层的输入融合。
Fused-MBConv模块比MBConv模块简单些,先经过3×3的卷积,把channel放大四倍,然后经过SE模块,再经过1×1的卷积,最后和上层的输入融合。下面是实现MBConv模块和Fused-MBConv模块的详细代码:
class MBConv(nn.Module):
“”"
定义MBConv模块和Fused-MBConv模块,将fused设置为1或True是Fused-MBConv,否则是MBConv
:param inp:输入的channel
:param oup:输出的channel
:param stride:步长,设置为1时图片的大小不变,设置为2时,图片的面积变为原来的四分之一
:param expand_ratio:放大的倍率
:return:
“”"
def init(self, inp, oup, stride, expand_ratio, fused):
super(MBConv, self).init()
assert stride in [1, 2]
hidden_dim = round(inp * expand_ratio)
self.identity = stride == 1 and inp == oup
if fused:
self.conv = nn.Sequential(
fused
nn.Conv2d(inp, hidden_dim, 3, stride, 1, bias=False),
nn.BatchNorm2d(hidden_dim),
SiLU(),
SELayer(inp, hidden_dim),
pw-linear
nn.Conv2d(hidden_dim, oup, 1, 1, 0, bias=False),
nn.BatchNorm2d(oup),
)
else:
self.conv = nn.Sequential(
pw
nn.Conv2d(inp, hidden_dim, 1, 1, 0, bias=False),
nn.BatchNorm2d(hidden_dim),
SiLU(),
dw
nn.Conv2d(hidden_dim, hidden_dim, 3, stride, 1, groups=hidden_dim, bias=False),
nn.BatchNorm2d(hidden_dim),
SiLU(),
SELayer(inp, hidden_dim),
pw-linear
nn.Conv2d(hidden_dim, oup, 1, 1, 0, bias=False),
nn.BatchNorm2d(oup),
)
def forward(self, x):
if self.identity:
return x + self.conv(x)
else:
return self.conv(x)
主体模块
class EfficientNetv2(nn.Module):
def init(self, cfgs, num_classes=1000, width_mult=1.):
super(EfficientNetv2, self).init()
self.cfgs = cfgs
building first layer
input_channel = _make_divisible(24 * width_mult, 8)
layers = [conv_3x3_bn(3, input_channel, 2)]
building inverted residual blocks
block = MBConv
for t, c, n, s, fused in self.cfgs:
output_channel = _make_divisible(c * width_mult, 8)
for i in range(n):
layers.append(block(input_channel, output_channel, s if i == 0 else 1, t, fused))
input_channel = output_channel
self.features = nn.Sequential(*layers)
building last several layers
output_channel = _make_divisible(1792 * width_mult, 8) if width_mult > 1.0 else 1792
self.conv = conv_1x1_bn(input_channel, output_channel)
self.avgpool = nn.AdaptiveAvgPool2d((1, 1))
self.classifier = nn.Linear(output_channel, num_classes)
self._initialize_weights()
def forward(self, x):
x = self.features(x)
x = self.conv(x)
x = self.avgpool(x)
x = x.view(x.size(0), -1)
x = self.classifier(x)
return x
def _initialize_weights(self):
for m in self.modules():
if isinstance(m, nn.Conv2d):
n = m.kernel_size[0] * m.kernel_size[1] * m.out_channels
m.weight.data.normal_(0, math.sqrt(2. / n))
if m.bias is not None:
m.bias.data.zero_()
elif isinstance(m, nn.BatchNorm2d):
m.weight.data.fill_(1)
m.bias.data.zero_()
elif isinstance(m, nn.Linear):
m.weight.data.normal_(0, 0.001)
m.bias.data.zero_()
理解这段代码,我们还需要了解输入参数cfgs,以efficientnetv2_s为例:
def efficientnetv2_s(**kwargs):
“”"
Constructs a EfficientNetV2-S model
“”"
cfgs = [
t, c, n, s, fused
[1, 24, 2, 1, 1],
[4, 48, 4, 2, 1],
[4, 64, 4, 2, 1],
[4, 128, 6, 2, 0],
[6, 160, 9, 1, 0],
[6, 272, 15, 2, 0],
]
return EfficientNetv2(cfgs, **kwargs)
第一列“t”指的是MBConv模块和Fused-MBConv模块第一个输入后放大的倍率。
第二列“c”,channel,指的是输出的channel。
第三列“n”,指定的是MBConv模块和Fused-MBConv模块堆叠的个数。
第四列“s”,指的是卷积的步长,步长为1,图片的大小不变,步长为图片的面积缩小为原来的四分之一,实现降维。
第五列“fused”,选择MBConv模块或Fused-MBConv模块,为1这是Fused-MBConv模块,0则是MBConv模块,对应了前面摘要提过了,在浅层用Fused-MBConv代替MBConv。
完整代码
====
import torch
import torch.nn as nn
import math
all = [‘efficientnetv2_s’, ‘efficientnetv2_m’, ‘efficientnetv2_l’, ‘efficientnetv2_xl’]
from torchsummary import summary
#这个函数的目的是确保Channel能被8整除。
def _make_divisible(v, divisor, min_value=None):
“”"
这个函数的目的是确保Channel能被8整除。
:param v:
:param divisor:
:param min_value:
:return:
“”"
if min_value is None:
min_value = divisor
new_v = max(min_value, int(v + divisor / 2) // divisor * divisor)
Make sure that round down does not go down by more than 10%.
if new_v < 0.9 * v:
new_v += divisor
return new_v
SiLU (Swish) activation function
if hasattr(nn, ‘SiLU’):
SiLU = nn.SiLU
else:
For compatibility with old PyTorch versions
class SiLU(nn.Module):
def forward(self, x):
return x * torch.sigmoid(x)
class SELayer(nn.Module):
def init(self, inp, oup, reduction=4):
super(SELayer, self).init()
self.avg_pool = nn.AdaptiveAvgPool2d(1)
self.fc = nn.Sequential(
nn.Linear(oup, _make_divisible(inp // reduction, 8)),
SiLU(),
nn.Linear(_make_divisible(inp // reduction, 8), oup),
nn.Sigmoid()
)
def forward(self, x):
b, c, _, _ = x.size()
y = self.avg_pool(x).view(b, c)
y = self.fc(y).view(b, c, 1, 1)
return x * y
def conv_3x3_bn(inp, oup, stride):
return nn.Sequential(
nn.Conv2d(inp, oup, 3, stride, 1, bias=False),
nn.BatchNorm2d(oup),
SiLU()
)
做了那么多年开发,自学了很多门编程语言,我很明白学习资源对于学一门新语言的重要性,这些年也收藏了不少的Python干货,对我来说这些东西确实已经用不到了,但对于准备自学Python的人来说,或许它就是一个宝藏,可以给你省去很多的时间和精力。
别在网上瞎学了,我最近也做了一些资源的更新,只要你是我的粉丝,这期福利你都可拿走。
我先来介绍一下这些东西怎么用,文末抱走。
(1)Python所有方向的学习路线(新版)
这是我花了几天的时间去把Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
最近我才对这些路线做了一下新的更新,知识体系更全面了。
(2)Python学习视频
包含了Python入门、爬虫、数据分析和web开发的学习视频,总共100多个,虽然没有那么全面,但是对于入门来说是没问题的,学完这些之后,你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。
(3)100多个练手项目
我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。
(4)200多本电子书
这些年我也收藏了很多电子书,大概200多本,有时候带实体书不方便的话,我就会去打开电子书看看,书籍可不一定比视频教程差,尤其是权威的技术书籍。
基本上主流的和经典的都有,这里我就不放图了,版权问题,个人看看是没有问题的。
(5)Python知识点汇总
知识点汇总有点像学习路线,但与学习路线不同的点就在于,知识点汇总更为细致,里面包含了对具体知识点的简单说明,而我们的学习路线则更为抽象和简单,只是为了方便大家只是某个领域你应该学习哪些技术栈。
(6)其他资料
还有其他的一些东西,比如说我自己出的Python入门图文类教程,没有电脑的时候用手机也可以学习知识,学会了理论之后再去敲代码实践验证,还有Python中文版的库资料、MySQL和HTML标签大全等等,这些都是可以送给粉丝们的东西。
这些都不是什么非常值钱的东西,但对于没有资源或者资源不是很好的学习者来说确实很不错,你要是用得到的话都可以直接抱走,关注过我的人都知道,这些都是可以拿到的。
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!