深度学习
沐昐boy
我很懒,还没添加简介
展开
-
ShuffleNet--轻量级神经网络
ShuffleNet采用channel shuffle、pointwise group convolutions和depthwise separable convolution修改原来的ResNet单元。channel shuffle:原创 2021-05-31 14:46:07 · 171 阅读 · 0 评论 -
MobileNet--轻量级神经网络
MobileNet的基本单元为深度级可分离卷积(depthwise separable convolution),可分解成depthwise convolution和pointwise convolution。depthwise convolution在每个输入通道采用不同的卷积核。pointwise convolution是采用1x1的卷积核。普通卷积的计算量:Dk×Dk×M×N×Df×Dfdepthwise convolution的计算量:Dk×Dk×M×Df×Dfpointwise c原创 2021-05-31 11:12:29 · 248 阅读 · 0 评论 -
DenseNet--轻量级神经网络
DenseNet主要提出了dense block模块,在任意两层间都有连接,残差比ResNet更密集。轻量级神经网络采用了更复杂的连接,但是获得了更少的参数,因此计算量和数据量都适用于嵌入式设备中。减轻了梯度消失问题我理解的是层数越多多项式级数越大,相同的输出情况下级数多的系数会小,当级数达到一定程度导数会几乎消失,而将前面的层加到后面会建立一些级数较小的多项式,这样可以较少梯度消失问题。参数更少解决了梯度问题可以加入更多的层,网络可以更窄,在dense block中每个卷积层的输出fea原创 2021-05-30 17:01:06 · 757 阅读 · 0 评论 -
SqueezeNet-轻量级神经网络
SqueezeNet是一种超轻量级的网络,它的分类精度接近AlexNet,但是模型却比其小50倍。SqueezeNet的基础模块叫fire,如下图原创 2021-05-31 10:23:26 · 515 阅读 · 0 评论 -
ResNet网络分析--深度学习入门
残差学习是学习输入输出之间的差与输入的映射,而CNN是学习输入与输出的映射。即X->(H(x)-x)+x由于X和F(x)的通道数不同,残差神经网络使用了梁红identity mapping 的方式,一种是补零,另一种是用1X1卷积变换维度。...原创 2021-05-30 11:21:07 · 78 阅读 · 0 评论 -
VGGNet网络分析--深度学习入门
VGG网络结构如下图在VGGNet中降低了卷积核尺寸,用多个较小的卷积核代替一个较大的卷积核,增加了卷积的层数。一方面可以减少参数,另一方面进行了更多的非线性映射,增强了拟合能力。比如三个3×3的堆叠卷基层的感受野是7×7,三个3×3的卷积层参数个数为:3×((3×3×C)×C)=27×C×C;一个(7×7×C)×C的卷积层参数为49×C×C。VGGNet中对输入图片进行了去均值化去均值化可以把数据移到原点附近,可以保证数据不会太大导致梯度出现问题。VGGNet使用了Multi-Sal原创 2021-05-29 15:08:11 · 154 阅读 · 0 评论 -
GoogLeNet分析Incepetion V1--深度学习入门
解决增加网络深度和宽度时容易产生过拟合且大大增加计算量。将全连接和一般的卷积转化为稀疏连接。稀疏连接的概念如图:GooLeNet使用了将稀疏矩阵聚类成秘籍子矩阵的方式提高性能基本结构如下图:使用不同大小的卷积核和池化,最后拼接进行融合。网络越到后面,特征越抽象,而且每个特征所涉及的感受野也更大了,因此随着层数的增加,3x3和5x5卷积的比例也要增加。但是55卷积仍然计算量大,采用11卷积核降维11卷积核降维是减少了输入通道数,对m通道的输入进行n个11卷积核卷积,将会降维成n通道。原创 2021-05-29 11:18:15 · 219 阅读 · 0 评论 -
AlexNet网络分析--深度学习入门
第一层卷积层,使用两个GPU分别计算48个核,然后进行ReLU激活函数,对其结果进行Local Response Normalized。使用ReLU比tanh和sigmoid等饱和函数要快。Local Response Normalized(局部相应归一化)由于ReLU的值域没有区间,所以要对其结果进行归一化,公式为就是对ReLu求出来的数据(x,y)周围进行归一化进行LRN后进行最大池化,这里用的是Overlapping Pooling(覆盖的池化操作)就是池化核重叠,用重叠池化可.原创 2021-05-29 09:08:47 · 200 阅读 · 0 评论 -
LeNet-5网络分析--深度学习入门
LeNet-5网络共有六层,如下图C1-卷积层相关参数:卷积核大小卷积核个数输出featuremap大小5*5628*28卷积层通过卷积的方式对输入图片进行特征提取,原理是利用多个卷积核提取图片中多个特征,不同的卷积核对应一张图片中的一个特征,可如图所示可以发现:越接近为1表示对应位置和卷积核代表的特征越接近,越是接近-1,表示对应位置和卷积核代表的反向特征越匹配,而值接近0的表示对应位置没有任何匹配或者说没有什么关联。同理,识别一张图片用多个卷积核就可以完场特原创 2021-05-28 19:43:48 · 160 阅读 · 0 评论