经典神经网络结构
文章平均质量分 68
经典网络结构
看山不是山a
在路上
展开
-
dropout层的添加,L2正则化
dropout 一般添加在线性层,要给某一线性层添加dropout,dropout函数一般写在此线性层的前面。同济自豪兄好像把dropout写在了此线性层的后面。原创 2023-04-23 23:22:33 · 1709 阅读 · 0 评论 -
GhostNet(CVPR2020)
参考:https://www.wanglichun.tech/2020/03/08/ghostnet/论文链接:https://arxiv.org/abs/1911.11907作者解读:https://zhuanlan.zhihu.com/p/109325275开源代码:pytorch :https://github.com/iamhankai/ghostnet.pytorch/blob/master/ghost_net.py 本篇论文是发表于CVPR2020的一篇轻量级网络的论...原创 2022-04-12 21:15:07 · 3087 阅读 · 0 评论 -
MobileNet V3(2019)
创新点1.引入SE结构MobileNetV3 的另一个新颖想法是在核心架构中加入一种名为「Squeeze-and-Excitation」的神经网络(简称 SE-Net,也是 ImageNet 2017 图像分类冠军)。具体而言,就是通过学习来自动获取到每个特征通道的重要程度,然后依照这一结果去提升有用的特征并抑制对当前任务用处不大的特征。MobileNet V2的bottlenet结构MobileNet V3的block结构,即在V2的bottlenet结构中加入了SE结构,并且放在了d原创 2022-04-11 11:53:04 · 3011 阅读 · 0 评论 -
MobileNet V2
MobileNet V2网络总结构每一个bottleneck如下图所示网络中的亮点:1.Inverted Residuals(倒残差结构):先升维(PW),再卷积(DW),后降维(PW)2.Linear Bottlenecks:降维后用的是线性激活(在代码中相当于1*1的卷积),而不是relu6参考:1.知乎MobileNet V2 论文初读 - Michael Yuan的文章 https://zhuanlan.zhihu.com/p/33075914 2...原创 2022-04-09 17:08:16 · 328 阅读 · 0 评论 -
MobileNet V1(谷歌轻量化网络)
MobileNet1主要创新点1.深度可分离卷积(Depthwise separable convolutions)标准卷积(CNN)的作用是对所有输入通道用相同的卷积核得到不同通道特征,将不同通道特征组合起来使得输出特征包含每个输入的特征。因此,我们可以将标准卷积分为以下两个步骤:1) 深度卷积(Depthwise convolution)深度卷积对每一个输入通道应用一个单独的卷积核(与标准卷积不同,标准卷积对每一个输入通道应用同一个卷积核)得到特征图,此时,每张特征图仅与一个输入通道和其对原创 2022-04-14 10:43:25 · 1197 阅读 · 1 评论 -
Inception V1(GoogLeNet)
Inception module 采用不同大小的卷积核,意味着不同大小的感受野,这样可以增加网络对不同尺度的适应性。最后拼接意味着不同尺度特征的融合。1*1卷积用于降维,减少参数量和feature map维度。网络结构softmax0,softmax1为辅助分类输出,用于训练时计算损失,预测时没有这两个模块。...原创 2022-04-17 20:10:37 · 2646 阅读 · 0 评论