神经网络模型

已于 2023-07-30 17:40:06 修改
阅读量261 收藏
点赞数
文章标签： 神经网络 深度学习 计算机视觉
于 2022-07-10 22:40:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44284128/article/details/123231757
版权

文章目录

1. LeNet

![在这里插入图片描述](https://img-blog.csdnimg.cn/ed1af3916c904575808c160f6feef8ff.png
论文地址

Highlight

  • LeNet5通过巧妙的设计，利用卷积、参数共享、池化等操作提取特征，避免了大量的计算成本，最后再使用全连接神经网络进行分类识别，这个网络也是最近大量神经网络架构的起点。
  • 由7层CNN（不包含输入层）组成，输入的原始图像大小是32×32像素
  • 提出并成功运用权值共享
  • 局部感受野
    下采样（池化）

缺点：

  • 图像的局部相关性
  • 图像的形变会引起图像特征位置变化
  • 图像数据量较大，单独像素独立输入神经元中，需要很大的网络结构，训练参数过多

参考文档：
CNN模型合集

2. AlexNet

在这里插入图片描述
论文地址

Highlight

  • 提出数据增强、Dropout 防止过拟合
  • 数据增强一：将输入 256256的图片进行224224的随机截取，这样每个图片就可以生成很多类似的图片
  • 数据增强二：改变训练图像总RGB通道的强度。在整幅图中对RGB像素值集执行PCA进行降维，通过改变主要颜色的亮度生成更多图片
  • Dropout：作为训练深度神经网络的一种选择，避免过拟合同时增强神经网络的泛化能力
  • 在多个GPU上训练，降低训练时间
  • 使用Relu替换之前的sigmoid激活函数，加快训练
  • 局部响应正规化也在googlenet被证明没啥效果
  • 使用层叠的卷积层，即卷积层+卷积层+池化层来提取图像特征
  • 层叠池化，在一定程度抑制过拟合

图片引用自https://zhuanlan.zhihu.com/p/21562756
图片引用自仙道菜

参考文档：卷积神经网络之AlexNet
AlexNet网络结构详解与模型的搭建

3. VGG

在这里插入图片描述

论文地址

Highlight

  • 结构简单，使用同样大小的卷积核尺寸(33)和最大池化尺寸(22)
  • 连续使用多个卷积层的作用是扩大感受野，即用2个33的卷积层达到一个55卷积层的感受野，3个33的卷积层达到一个77卷积层的感受野
  • 小尺寸卷积核(33)的组合比一个大卷积核(55或7*7)更好，增加非线性函数的个数，增加了函数的判别能力；减少了参数量
  • 验证了通过不断加深网络结构可以提升性能
  • 使用1*1卷积核，添加了非线性激活函数的个数，而且不影响卷积层的感受野
  • 没有使用局部归一化，发现并不能提高网络的性能
  • 多尺度估计，证明多尺度抖动的训练图像精度好于固定尺寸的训练集
  • 稠密和多裁剪图像评估(Dense 和 multi-crop)，稠密即指全连接层替换为卷积层（第一FC层转换到7×7卷积层，最后两个FC层转换到1×1卷积层），最后得出一个预测的score map，再对结果求平均。
    即对图像进行多样本的随机裁剪，将得到多张裁剪得到的图像输入到网络中，最终对所有结果平均

缺点

  • 耗费计算资源较多，训练时间较长
  • 参数量较大，其中绝大多数参数都来自于第一个全连接层，且VGG有三个全连接层

参考文档：
卷积神经网络之VGG
VGG网络结构详解与模型的搭建

4. GoogLeNet

GoogLeNet中的 L 大写是为了致敬LeNet。
在这里插入图片描述

论文地址

Highlight

  • 引入 Inception 结构(融合不同尺度的特征信息)
  • 使用1*1的卷积核进行降维及映射处理(相比VGG，给出了更详细的介绍)
  • 添加两个辅助分类器帮助训练
  • 丢弃全连接层，使用平均池化层(大大减少参数量)

参考文档：
GoogLeNet论文详解

6. ResNet

Highlight

  • 超深的网络结构(突破1000层)
  • 提出residual模块
  • 使用Batch Normalization加速训练(丢弃dropout)

使用BN时注意的问题：
① 训练时要将 training参数设置为True，在验证时要将training参数设置为False。在pytorch中可通过创建模型的model.train()和model.eval()方法控制。
② batch size 尽可能设置大一点，设置小后表现可能很糟糕，设置的越大，求的均值和方差越接近整个训练集的均值和方差。
③ 建议将bn层放在卷积层(Conv)和激活层(例如Relu)之间，且卷积层不要使用偏执bias，因为没有用。

参考文档：
Group Normalization详解

MobileNet-V2

在这里插入图片描述
论文地址

Highlight

  • Inverted Residuals （倒残差结构）
  • Linear Bottlenecks

Inverted Residuals （倒残差结构）

  • 普通的残差结构先通过1x1卷积进行降维，最后通过1x1卷积升维；倒残差结构刚好相反，首先通过1x1卷积进行升维，最后通过1x1卷积进行降维，所以它和我们普通的残差结构正好是相反的，因此取名(Inverted residual block)倒残差结构。
    在这里插入图片描述

  • 普通残差结构使用的激活函数是relu，但倒残差结构使用的是relu6激活函数

Linear Bottlenecks

  • 线性激活函数
    倒残差的最后1x1卷积层，它使用了线性激活函数， 文中实验可以了解ReLU激活函数对低纬特征造成大量损失, 由于我们倒残差结构是两头细中间粗的结构，所以输出的时候是一个低纬的特征。为了避免信息的丢失我们就需要使用一个线性的激活函数替代ReLU激活函数。
    在这里插入图片描述
  • 倒残差结构，并不是每个倒残差结构都有shortcut分支（捷径分支），只有当stride=1且输入特征矩阵与输出特征矩阵的shape相同时才有shortcut分支。

类别数K

最后一层是一个卷积层1x1x1280, 即一个全连接层。这里的k对应的是分类的类别数

邦之彦
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深度学习12. CNN经典网络 AlexNet处理ImageNet
编程圈子-谢厂节的博客
03-28 850
该层主要作用是提取输入图像的特征。卷积核：11 X 11步长：4填充：2输入通道数：3输出通道数：48224−112∗24154224−112∗2/4154。
AlexNet论文(ImageNet Classification with Deep Convolutional Neural Networks)(译)
热门推荐
hongbin_xu的博客
05-10 9万+
前言 最近一直比较忙，总算才有时间看点深度学习的论文。这篇论文是大神Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton三人提出的AlexNet深度卷积神经网络，摘得了2010年ILSVRC比赛的桂冠。AlexNet在现在也经常会用到，可以说是很经典的一个CNN框架了。出于学习的目的，一方面可以做笔记，一方面也可以督促自己的学习，我才打算翻译下这...
深入浅出深度卷积神经网络——AlexNet
m0_56175815的博客
05-05 472
AlexNet是由Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton在2012年提出的深度卷积神经网络，它在ImageNet比赛中的表现引起了轰动。
深度学习笔记3——AlexNet
baidu_41906969的博客
03-04 3213
1、背景介绍 在2012年的ImageNet竞赛中，AlexNet获得了top-5测试的15.3%error rate， 获得第二名的方法error rate 是 26.2% AlexNet有60 million个参数和65000个 神经元，五层卷积，三层全连接网络，最终的输出层是1000通道的softmax。 训练这种规模的网络要大量的计算能力，AlexNet利用了GPU提供的大量并行能力，利用两块GPU分配网络训练的工作，大大提高了运算效率。 近60年的发展趋势： 2、与LeNet相较 更深更大的Le
深度学习经典网络解析图像分类篇（二）：AlexNet
与君共勉，一起学习
03-20 4475
深度学习经典网络解析（二）：AlexNet1.背景介绍2.ImageNet3.AlexNet3.1AlexNet简介3.2AlexNet网络架构3.2.1第一层（CONV1）3.2.2 MAX POOL1+NORM1层3.2.3第三层（CONV2）3.2.4 MAX POOL2+NORM2层3.2.5第三、四层（CONV3、CONV4）3.2.6第五层（CONV5）3.2.7MAX POOL3层3.2.8第六七八层—全连接层3.3AlexNet创新点3.3.1数据增强3.3.2 Dropout随机失活3.3
基于BP神经网络模型的笔记本电脑销售预测研究
05-18
"基于BP神经网络模型的笔记本电脑销售预测研究" 本研究旨在基于BP神经网络模型对笔记本电脑销售进行预测，该模型具有很强的非线性映射能力和柔性的网络结构，能够处理复杂的销售数据。通过对笔记本电脑销售数据的...
MATLAB神经网络模型
10-17
MATALB使用神经网络工具箱进行神经网络搭建的详细讲解。
神经网络模型详解.doc
06-27
神经网络模型
AlexNet
weixin_45593603的博客
11-21 1544
AlexNet理论概要
数据增强在卷积神经网络中的应用
追梦飞阳
09-25 8638
这一篇博客主要讨论在用卷积神经网络进行图像识别或者目标检测时的数据增强手段，并讨论其作用。 首先整理两篇比较有代表性的论文里的数据增强，再说说我自己工作中使用的数据增强，最后讨论这些数据增强的意义（我个人的理解）。
深度学习 --- 深度卷积神经网络详解（AlexNet 网络详解）
进击的菜鸟
11-28 2万+
  本篇将解释另外一个卷积神经网络，该网络是Hinton率领的谷歌团队（Alex Krizhevsky，Ilya Sutskever，Geoffrey E. Hinton）在2010年的ImageNet大赛获得冠军的一个神经网络，因此本节主要参考的论文也是这次大赛的论文即“ImageNet分类与深卷积神经网络”，大家可以找到这篇论文看看，好，和前面一样，本节主要是介绍网络的架构，同时和LeNet...
CV之IC之AlexNet：基于Keras框架利用卷积神经网络类AlexNet算法实现猫狗分类识别(图片数据增强→保存h5模型→加载模型)案例应用
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
11-22 3696
CV之IC之AlexNet：基于Keras框架利用卷积神经网络类AlexNet算法实现猫狗分类识别(图片数据增强→保存h5模型→加载模型)案例应用。
手把手搭建经典神经网络系列（1）——AlexNet
black_sneak的博客
06-14 5792
手把手教你学习和搭建AlexNet网络实现图像识别，包含基于pytorch的源码。
深度了解AlexNet和实现
yuzhou164的博客
03-15 8476
AlexNet的讲解，适应和对相应的参数的理解。
AlexNet翻译及详解
qq_27245709的博客
06-11 3696
本文转载自http://blog.csdn.net/liumaolincycle/article/details/50496499和http://www.cnblogs.com/gongxijun/p/6027747.html，仅用作个人学习。 ImageNet Classification with Deep Convolutional Neural Networks Ale
神经网络：AlexNet
flyingzhao
11-04 3万+
《ImageNet Classification with Deep Convolutional Neural Networks》论文解读本文出自NIPS2012，作者是大神Alex Krizhevsky，属于多伦多大学Hinton组。概述本文提出的神经网络结构被成为AlexNet，在我最近的研究学习中发现，这一结构及其变种在很多任务中都有使用，回过头来重温一下这篇论文仍然是有必要的。归根到底，本文
神经网络模型 default
最新发布
02-22
神经网络模型是一种模拟人脑神经系统的计算模型，它由多个神经元组成，通过神经元之间的连接和权重来进行信息传递和处理。神经网络模型可以用于解决各种问题，如图像识别、语音识别、自然语言处理等。 默认的神经...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值