深度学习
Eeeeearl
This is my feature.
展开
-
RuntimeError: Unable to find a valid cuDNN algorithm to run convolution
RuntimeError: Unable to find a valid cuDNN algorithm to run convolution原创 2022-10-11 16:14:55 · 2064 阅读 · 0 评论 -
CNN-DenseNet
2017年,CVPR的一篇文章提出了DenseNet(Dense Convolutional Network)。在此之前,googlenet的Inception结构是对网络宽度下手,resnet的Residual结构是对网络深度下手,而该网络作者则是选择了从feature入手。DenseNet言归正传我们都知道ResNet的结构是将输入与输出进行相加,这时候通道数是保持一致的,而DenseNet里的模块是在通道维上连结。我想这个设计应该很大程度上是受到了ResNet的启发,不过,DenseNet的设原创 2021-08-16 16:13:43 · 268 阅读 · 0 评论 -
CNN-ResNet
2015年,何恺明等人提出了残差网络(ResNet),并在ImageNet图像识别挑战赛夺魁,深刻影响了后来的深度神经网络的设计。残差块残差块,残差网络中的重要组成部分。WHY?先前就可以看出,加深网络深度,在一定程度上可以提升模型性能。因此,有人对此进行实验研究,发现加深网络深度确实可以提高模型效果,但随着网络的加深,导致了网络退化问题逐渐严重;甚至层数太深的,比部分浅层网络效果更差。退化问题,何恺明对此进行假设:是不是深层网络没有在进行学习,仅仅对浅层网络的特征进行复制?那么这些网络层做的就是原创 2021-08-16 16:12:25 · 312 阅读 · 0 评论 -
NN-pooling层
定义pooling层,也叫池化层,它的输入一般来源于上个卷积层(conv)。作用主要包含以下几个作用:保留主要的特征,同时减少下一层的参数和计算量,防止过拟合;保持某种不变性,包括translation(平移),ratation(旋转),scale(尺度),常用的有mean-pooling和max-pooling。分类常用到的有以下几种:mean-pooling(平均池化层)其主要做法为:forward正向传播对指定的pooling的窗大小,进行取平均值,以来代替该窗大小原创 2021-08-12 16:59:37 · 580 阅读 · 0 评论 -
CNN-GoogLeNet
2014年,ImageNet图像识别挑战赛,GoogleNet脱颖而出。GoogleNet名字上致敬了LeNet网络,但内在吸收了NiN中网络串联的思想。Inception块GoogleNet中的基础卷积块叫做Inception块,(Inception:盗梦空间,贼好看,可以了解下!~哈哈)如果说NiN是串联,那么汲取了NiN网络的GoogleNet网络则是融入了并联的思想。Inception块里有4条并行的线路。从输入开始:1x1卷积层1x1卷积层 + 3x3卷积层1x1卷积原创 2021-08-12 16:57:20 · 99 阅读 · 0 评论 -
CNN-NIN
2014年,ICLR的一篇paper——Network in Network。0小总结:LeNet、AlexNet和VGG在设计上存在共同之处:先由卷积层conv模块充分抽取空间特征,再由全连接层构成的模块输出分类结果。并且之前的改进方向为:如何加宽通道数和加深网络深度。NiN它提出了一个思路,串联多个由卷积层和“全连接层”构成的小网络来构建一个深层网络。“全连接层”则是1x1的卷积层。NiN块NiN块:NiN中的基础块组成:卷积层 + 2个1x1卷积层串联而成卷积窗口形状:11x11原创 2021-08-12 16:55:02 · 143 阅读 · 0 评论 -
CNN-VGG
2014年,牛津大学提出了深度卷积网络VGG-Net。证明了增加网络的深度能够在一定程度上影响网络的最终性能。改进VGG块:填充为1、窗口形状为3x3的卷积层+步长为2、窗口形状为2x2的最大池化层VGG的一个改进就是将小卷积核替代大卷积核。为何采用堆积的小卷积核优于采用打的卷积核?因为可以通过增加网络深度来保证学习更复杂的模式,而且代价还比较小(参数更小)。例如,VGG中,使用3个3x3卷积核来代替7x7卷积核,使用2个3x3卷积核来代替5x5卷积核。主要目的:在保证相同感知野的情况下,提升原创 2021-08-12 16:54:05 · 168 阅读 · 0 评论 -
CNN-AlexNet
2012年,多伦多大学的Alex Krizhevsky等人提出了AlexNet网络,正式奠定了卷积神经网络在计算机视觉中的地位。其AlexNet网络在2012年的ImageNet竞赛中夺冠扬名。在之前,训练CNN模型有两个要素:数据+硬件,因此举步维艰,知道2009年诞生了ImageNet数据集,包含了1000大类物体,每类有多达数千张不同的图像。2001年GPU概念兴起,虽然GPU一直以来都是为图像处理和计算机游戏设计的。与LeNet不同AlexNet包含了8层,其中5层卷积和2层全连接隐藏原创 2021-08-12 16:52:26 · 285 阅读 · 0 评论 -
CNN-LeNet
1998年,计算机科学家Yann LeCun等提出了LeNet卷积神经网络,被誉为卷积神经网络之父。卷积神经网络就是含卷积层的网络。定义LeNet网络:早起用来识别手写数字图像的卷积神经网络。LeNet通过梯度下降训练卷积神经网络,实现识别手写数字。可以算是CNN网络的鼻祖了。其网络结构非常简单:由卷积层和全连接层两个部分组成。LeNet的网络架构:LeNet( (conv): Sequential( (0): Conv2d(1, 6, kernel_size=(5, 5), st原创 2021-08-12 16:50:25 · 204 阅读 · 0 评论