深度学习模型概要总结

最新推荐文章于 2024-06-28 15:52:42 发布
最新推荐文章于 2024-06-28 15:52:42 发布
阅读量1.1k 收藏 3
点赞数
分类专栏： 深度学习 文章标签： 深度学习 图像分类 目标检测 模型剪枝 RNN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/thy_2014/article/details/82759117
版权

基础模型

  • 我将用于分类的模型统称为基础模型，不仅仅可以用作分类，且可以做为其他任务的基础网络模型结构，用作预训练模型。
  • 包括: AlexNet, VGG, GoogleNet系列, ResNet, DarkNet系列等
  • AlexNet
    • 可以说深度学习火起来的开创之作
    • Group思想沿用至今
  • VGG
    • 2014在ImageNet数据集上的亚军，那年冠军的是：GoogleNet，0.01%的差距。
    • 文中做了很多实验对比，可以说Block思想(或者说Stage)的开创
  • GoogleNet系列
    • 这个系列很有意思
    • 包括1*1的在里面的使用，BN，卷积拆解
    • 其思想大多现在都一直在使用
    • 我们一直在说数据同分布，对于图像来说什么叫做同分布？BN对其做了很好的解释。
  • DarkNet
    • 其实就是VGG的缩减版本
    • 包括tiny-DarkNet，DarkNet-19等
    • DarkNet-19可以在YOLO V2论文中看到，tiny版本在其DarkNet框架或者官网中可以找到
  • ResNet
    • 我的理解，其对网络框架模型做筛选
    • 另外，大幅增加感受野，对高级语义学习有很大帮助

对象检测模型

two stage

  • 包括RCNN系列
  • 先找出疑是目标的区域，对其进行分类
  • 提出RPN，Anchor思想，都非常流行使用
  • 对于单目标检测，直接使用RPN即可，例如人脸检测、车牌检测等

one stage

  • 包括YOLO系列，SSD系列
  • 直接对目标区域进行回归分类
  • YOLO
    • 其使用目标区域的中心位置作为匹配对象
    • 虽然文中提到说分类与定位的权重问题可能会导致效果不好
    • 我的理解，其中心点作为匹配对象，也存在很大问题
      • 例如中心点位置和周围都可能与对应目标相关，却让模型只让中心位置学习目标，将为对特征提取造成干扰
    • 后续版本也使用了Anchor，并对候选区域的可变范围做了限制
  • SSD
    • 结合了高低层语义信息
  • FPN思想
    • 不是单纯的结合高低层信息，更重要的是将其信息做了融合

Other

  • 单类检测思考

    • 例如人脸检测，车牌检测
    • 都可以考虑使用PRN网络模型
    • FaceBox
      • 不仅仅可以在CPU中做到实时
      • 为小目标检测，其专门做了Anchor密度增加策略

  • 语义分割

    • 这里应该是网络模型U形结构的开端
    • 也是前面提到的很多高低层语义信息结合的基础
    • 经典的FCN模型

  • RNN系列

    • 专门针对序列相关任务设计
    • 最初思想起源于N-gram
    • 针对N-gram所提取语义信息非常有限而设计
    • 理论上标准RNN模型可以提取无限长度序列语义信息
    • 但标准RNN存在梯度消失问题，因此提出LSTM，以至后面各种改进版本的LSTM，典型的案例GRU
    • 其可与CNN相结合，甚至相互替换
    • 缺点，运算速度慢

模型优化

  • 我接触的与模型优化相关，主要是三个: MobileNet，ShuffleNet, NetSlimming
  • 很多优化方法依赖于硬件设备，不具有一般通用性
  • MobileNet
    • 也是一种卷积分解的方法，跟5*5分成两个3*3类似
    • 其分解方式是将3*3分解为3*3 & 1*1
    • 复杂度大幅降低，其计算量主要集中在1*1的卷积上，占用总计算量的94%
    • 具体实现方式与AlexNet相似，Group思想
  • ShuffleNet
    • 将AlexNet的分组思想用到了极致
    • AlexNet当初就是因为计算能力有限，所有将其分组，但分组之后，AlexNet的做法是在后续Layer做融合
    • ShuffleNet的操作是，将分组计算后的结果做一个随机打乱，再继续使用分组提取特征，以达到特征融合的目的
    • 分组思想几乎贯穿整个网络，以降低计算复杂度
    • 具体实现，AlexNet思想(Group)+矩阵转置(实现随机打乱)
  • NetSlimming
    • 核心思想对每层的输出特征图乘以一个参数，并对该参数做L1正则
    • 如果最终权重系数小于给定的值(例如0.0001)，则将对应的特征图删除，并将对应的卷积核缩小
    • 具体实现也就是Copy权重参数
    • 删除一些特征图后，再重新训练，调优该网络模型，进行多次迭代，可以在不对精度产生过多影响的情况下，大幅降低网络计算复杂度
    • 至于参数具体该加在什么位置，文中做了详细的讨论，最终结论本质上就是对BN层中的缩放因子做L1正则
thy_2014
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习之基础模型-总结
whz1861的博客
11-16 2318
目前来看，很多对 NN 的贡献（特别是核心的贡献），都在于NN的梯度流上，比如 - sigmoid会饱和，造成梯度消失。于是有了ReLU。 - ReLU负半轴是死区，造成梯度变0。于是有了LeakyReLU，PReLU。 - 强调梯度和权值分布的稳定性，由此有了ELU，以及较新的SELU。 - 太深了，梯度传不下去，于是有了highway。 - 干脆连highway的参数都不要，直接变残差，于是
什么是深度学习模型
weixin_26704853的博客
09-04 8882
Non-data scientists often use the word Model to mistakenly refer to the what in Machine Learning we canonically call Model Architecture. And it couldn't be more wrong! 非数据科学家经常使用“ 模型 ”一词来错误地指代机器学习中我们通...
【深度学习】深度学习模型的一些知识点总结
最新发布
q742971636的博客
06-28 291
StyleGAN通过一系列创新的架构设计，解决了传统GAN模型中存在的一些问题，如潜在空间的非线性变换、图像特征的耦合等。其在图像生成质量、控制性和插值性能上都有显著提升，已经成为生成对抗网络领域的一个重要里程碑。传统的生成器 [29] 仅通过输入层传递潜在编码，而我们首先将输入映射到一个中间潜在空间WWW，然后通过自适应实例归一化 (AdaIN) 在每个卷积层控制生成器。在每次卷积后添加高斯噪声，然后再进行非线性处理。
深度学习模型总结
woshiliulei0的专栏
04-28 1273
1.深度学习模型分类概述 1.1感知器 1.2DNN 1.3CNN 1.4RNN 1.5Seq2Seq ####2 深度学习技术 深度学习是机器学习的分支，是试图使用包含 复杂结构或由多重非线性变换构成的多处理层计 算模型对数据进行高层抽象的一类算法。深度学习 技术已被广泛应用到图像处理、语音处理、自然语 言处理等多个领域，取得了重大突破[26]。 2.1 神经网络语言模型 语言模型（Langua...
深度学习模型汇总
热门推荐
qq_43431934的博客
12-20 2万+
学习王喆老师的深度学习推荐系统第3章 学习深度学习推荐模型的演化流程 了解模型改进的一般方式改变深度神经网络的复杂程度 特征交叉 模型组合 深度学习模型总结 一、与传统机器学习模型相比，深度学习模型的优势 1、表达能力更强能够挖掘出更多数据中潜藏的模式 2、结构非常灵活能够根据业务场景和数据特点，灵活调整模型结构，使模型与应用场景完美契合 深度学习推荐模型的演化关系图： 改变神经网络的复杂程度 代表模型：AutoRec --> Deep Crossing...
【转】一些深度学习模型总结
TomRen
12-05 1967
R.T from http://www.deeplearningmodel.net/   Variational Autoencoder Publication: Original VAE paper (2013) Publication: Disentangled VAE (DeepMind 2016) Video: Variational Autoencoders Walk-thro...
深度学习基础-经典模型总结
qq_22247993的博客
03-06 3347
深度学习经典模型总结
浅谈机器学习与深度学习的概要及应用.pdf
06-10
深度学习则是机器学习的一个子领域，它特别强调构建深层次的神经网络模型，模仿人脑神经元的工作原理，以处理复杂的数据表示和决策任务。 机器学习的定义多种多样，但通常包括了在没有明确规则指导的情况下，使...
yolo开发教程&案例&相关项目举例概要知识点总结.docx
06-14
YOLO（You Only Look Once）是一种流行的目标检测算法，以其快速检测速度和相对较高的准确性而闻名。下面是一些关于YOLO开发的教程、案例以及相关项目的概览： ...深度学习入门者在哔哩哔哩上收集的项目合集
神经网络教程&案例&相关项目举例说明概要知识点总结.docx
06-14
深度学习神经网络入门案例详细解析 如鸢尾花分类案例，通过搭建神经网络解决多分类问题。 涵盖数据预处理、模型构建、训练和评估的全过程。 案例 手写数字识别（MNIST数据集） 使用卷积神经网络（CNN）对MNIST数据...
基于机器学习的无参考图像质量评价综述.pdf
09-24
深度学习方法主要基于卷积神经网络（Convolutional Neural Networks，CNN）和递归神经网络（Recurrent Neural Networks，RNN），可以自动学习图像特征和质量评价模型。 NRIQA 算法的评估指标通常包括峰值信噪比...
数字图像基础知识概要
09-14
掌握这些基础知识，对于初入计算机视觉领域的人来说至关重要，不仅可以帮助理解复杂的图像处理算法，也是进一步深入研究深度学习和人工智能的基础。通过阅读提供的《数字图像处理基础.pdf》文档，你可以更系统地学习...
深度学习：深度学习总体概述
qq_43711697的博客
11-28 1103
前言 在学习深度学习和机器学习也有一段时间了终于有点时间来写写笔记回顾一下之前学到的，本文主要是笔者在阅读和观看一系列深度学习相关的书籍或者视频之后写下自己对深度学习的总体内容概述，如有不全或错误之处还请谅解并指出。 一、神经网络 深度学习事实上本质是在研究神经网络，其实深度学习本来就是机器学习的一个分支而机器学习分支中的神经网络由于发展较为迅速并逐渐形成新的学名——深度学习，神经网络和传统的机器学习算法其实个人认为主要的区别是在速度上和准确率上，传统的机器学习算法是在研究各种特征细节，人为能够很好的看到和
常用深度学习模型介绍(1)
weixin_30354675的博客
05-16 248
参考：https://blog.csdn.net/xbinworld/article/details/45619685 参考：https://blog.csdn.net/fate_fjh/article/details/53446630（FCN模型） 参考：https://blog.csdn.net/zyqdragon/article/details/72353420 LeNet模型（包括输...
[深度学习-总结]Deep learning中8大模型介绍与比较(LeNet5,AlexNet,VGG,Inception,MobileNets,ResNet,DenseNet,Senet)
Harry的博客
04-01 1万+
LeNet5 LeNet5不是CNN的起点，但却是它的hello world，让大家看到了卷积神经网络商用的前景。 AlexNet是CNN向大规模商用打响的第一枪，夺得ImageNet 2012年分类冠军，宣告神经网络的王者归来。VGG以其简单的结构，在提出的若干年内在各大计算机视觉领域都成为了最广泛使用的benchmark。 它们都有着简单而又优雅的结构，同出一门。诠释了增加深度是如何提高了深度...
常用深度学习模型介绍(2)
weixin_30411997的博客
05-21 76
参考：https://www.cnblogs.com/jie-dcai/p/5803220.html VGG模型： （注：一个5x5的卷积核可以用2个3x3的卷积核来代替，一个7x7的卷积核可以用3个5x5的卷积核来代替，具体解释可参考：https://www.zhihu.com/question/265791259） VGG模型所有的卷积层都是同样大小的filter，尺寸为3x3，卷积...
深度学习模型列举
zhangzhechun的专栏
03-17 5237
生成对抗网络（Generative Adversarial Networks，GAN）：由生成器和判别器两部分组成，用于生成能够欺骗判别器的假样本，主要应用于图像、视频、音频等生成任务。它可以学习序列中的上下文信息，能够自动捕捉输入数据中的长期依赖性。自编码器（Autoencoder，AE）：一种无监督学习模型，用于数据压缩、去噪和特征提取等任务，能够学习输入数据的低维表示。除了上述模型，还有很多其他的深度学习模型，如Transformer、BERT、GPT等，它们在自然语言处理领域中应用广泛。
深度学习与文本分类总结第一篇--常用模型总结
呜呜哈的博客
08-16 1万+
前面一段时间一直忙着参加知乎看山杯机器学习挑战赛，现在比赛结束了想着总结一下最近的收获。因为这是一个多标签多类别的文本分类问题，而且题目非常适合用深度学习相关的知识去做，正好结合着这个竞赛把之前一段时间的学习成果检验一下。接下来我会分成常用模型总结、多标签/多类别专题、竞赛实战三部分进行介绍。 首先我们先来总结一下文本分类中常用的几个深度学习模型，这里可以参考brightsmart大神在githu
深度学习入门：伯克利课程教材
此外，还详细讲解了GPU支持，这对于加速深度学习模型的训练至关重要。每个章节末尾都设有二维码，读者可以通过扫描讨论相关主题。 "Introduction"章节通过一个引人入胜的例子启动，展示了深度学习的力量，并解释了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值