深度神经网络基础框架
一次为ALEX、CNN、GoogleNet、ResNet网络模型
用GAN得有GPU
发帖主要是为了整理自己的心得,仅供参考,有可能内容有误,欢迎指正错误,互相学习!
展开
-
DeepLab-v3+:Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation
Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation目前的问题:深度神经网络采用空间金字塔池模块或编码解码器结构进行语义分割。空间金字塔池模块:可以对多尺度的上下文信息进行编码,通过过滤器或多倍速率和多个感受野的汇聚操作来探测输入的特征。编码解码器:可以通过逐步恢复空间信息来捕捉更...原创 2020-01-09 15:24:45 · 546 阅读 · 0 评论 -
DeepLab-v3:Rethinking Atrous Convolution for Semantic Image Segmentation
Rethinking Atrous Convolution for Semantic Image Segmentation目前的问题:当前DCNN在语义分割的两个挑战:1由连续池化操作或卷积所导致的特征分辨率降低,这使得DCNNs能够在不断增加的抽象特征表示中学习。然而,这种局部图像变换的不变性可能会妨碍密集的预测任务,因为在这些任务中需要详细的空间信息。2另一个困难来自存在多个尺度的物体...原创 2020-01-08 16:31:57 · 296 阅读 · 0 评论 -
DeepLab-v2:Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully C
DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs本网络主要用于图像语义分割使用问题:DCNN的缺陷:本文特别考虑了DCNNs在语义图像分割中的三个应用挑战:(1)降低特征分辨率;(2)多尺度对象的存在;(3)由于D...原创 2020-01-07 10:59:38 · 2436 阅读 · 0 评论 -
机器学习中的端到端的学习(end-to-end learning)
相对于深度学习,传统机器学习的流程往往由多个独立的模块组成,比如在一个典型的自然语言处理(Natural Language Processing)问题中,包括分词、词性标注、句法分析、语义分析等多个独立步骤,每个步骤是一个独立的任务,其结果的好坏会影响到下一步骤,从而影响整个训练的结果,这是非端到端的。而深度学习模型在训练过程中,从输入端(输入数据)到输出端会得到一个预测结果,与真实结果相比较会...转载 2019-12-10 18:11:17 · 297 阅读 · 0 评论 -
卷积神经网络框架一:ALXE网络:ImageNet Classification with Deep Convolutional Neural Networks
卷积神经网络框架之ALXE网络原文:ImageNet Classification with Deep Convolutional Neural Networks简述:本文训练了截止当时为止最大卷积神经网络,并有效的减少测试错误率,进而提出了一种神经网络模型框架。本文提出Alexnet网络模型,该模型由5个卷积层,多个最大池化层和3个全连接层组成,并有效提出“dropout”正则方法以抑制过...原创 2019-09-18 19:59:37 · 591 阅读 · 0 评论 -
卷积神经网络框架二:VGG网络:Very Deep Comvolutional Networks for Large-Scale Image Recognition
卷积神经网络框架之VGG网络Very Deep Comvolutional Networks for Large-Scale Image Recognition简述:本文研究了卷积网络的深度对其在大规模图像识别设置中的精度的影响,并证明使用很小的卷积(33),增加网络深度可以有效提升模型的效果,而且VGGNet对其他数据集具有很好的泛化能力,到今天VGG网络模型依然是提取网络特征的首要选择,...原创 2019-09-18 20:02:07 · 229 阅读 · 0 评论 -
卷积神经网络框架三:Google网络--v1:Going deeper with convolutions
卷积神经网络框架之Google网络Going deeper with convolutions简述:本文是通过使用容易获得的密集块来近似预期的最优稀疏结构是改进用于计算机视觉的神经网络的可行方法。提出“Inception”卷积神经网络,“Google Net”是Inception的具体体现,这个架构提出了对于较大的数据集不使用增加网络深度而是增加网络宽度的方法。问题or相关工作:当时,对...原创 2019-09-18 20:05:19 · 237 阅读 · 0 评论 -
卷积神经网络框架三:Google网络--v2:Batch Normalization
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift简述:本文提出了批处理规范化操作(Batch Normalization),通过减少内部协变量移位,加快深度网络训练。我们将内部协变位移定义为,训练过程中网络参数的变化引起的网络活动分布的变化,往往网络中训练参数...原创 2019-09-20 14:08:49 · 162 阅读 · 0 评论 -
卷积神经网络框架三:Google网络--v3:Rethinking the Inception Architecture for Computer Vision
Rethinking the Inception Architecture for Computer Vision简述:我们将通过适当的因子卷积(factorized convolutions)和主动正则化(aggressive regularization),以尽可能有效地利用增加的计算量的方式来解释如何扩展网络。并提出了Inception-v3网络架构,在ILSVRC 2012的分类任务中...原创 2019-10-02 13:21:28 · 233 阅读 · 0 评论 -
卷积神经网络框架三:Google网络--v4:Inception-ResNet and the Impact of Residual Connections on Learning
Inception-ResNet and the Impact of Residual Connections on Learning简述:在这篇文章中,提出了两点创新,1是将inception architecture与residual connection结合起来是否有很好的效果.2是Inception本身是否可以通过使它更深入、更广泛来提高效率,提出Inception-v4 and In...原创 2019-10-16 15:06:10 · 464 阅读 · 0 评论 -
卷积神经网络框架四:Res网络--v1:Deep Residual Learning for Image Recognition
Deep Residual Learning for Image Recognition简述:当前,在众多网络模型中都存在一个共同的问题,是否层数越多系统性能越好?首先想到的问题就是爆炸问题和消失问题(vanishing/exploding gradients),从开始就阻碍了收敛,然而,标准化初始化和中间标准化层可以解决这个问题,随着深度的增加,准确度逐渐饱和,然后迅速下降(degradat...原创 2019-09-26 19:07:09 · 646 阅读 · 0 评论 -
卷积神经网络框架四:Res网络--v2:Identity Mappings in Deep Residual Networks
Identity Mappings in Deep Residual Networks简述:本文主要从建立深度残差网络的角度来分析深度残差网络,不仅在一个残差块内,而是放在整个网络中讨论。本文主要有以下三个工作:1是对Res-v1进行了补充说明,对residual block及其公式进行了进一步的补充说明,2是对shortcut connections做了进一步的改进,3是提出ReLU和BN层...原创 2019-09-28 15:35:48 · 1258 阅读 · 0 评论