深度学习
科研小阿斗
keep calm and stay strong
展开
-
卷积神经网络之1:LeNet-5
一.模型简介LeNet5诞生于1994年,由Yann LeCun提出,充分考虑图像的相关性。当时结构的特点如下:1)每个卷积层包含三个部分:卷积(Conv)、池化(ave-pooling)、非线性激活函数(sigmoid)2)MLP作为最终的分类器3)层与层之间稀疏连接减少计算复杂度在这里面为啥叫LeNet-5,是因为在里面有5层卷积层(3层卷积层和2层全连接层),再加上2个池...原创 2019-04-06 14:35:24 · 1692 阅读 · 1 评论 -
卷积神经网络之2:AlexNet
AlexNet的网络结构AlexNet是2012年ImageNet竞赛冠军获得者Hinton和他的学生Alex Krizhevsky设计的。也是在那年之后,更多的更深的神经网路被提出,比如优秀的vgg,GoogleLeNet。其官方提供的数据模型,准确率达到57.1%,top 1-5 达到80.2%. 这项对于传统的机器学习分类算法而言,已经相当的出色。ZFnet是AlexNet的变体,只是调...转载 2019-04-06 19:19:20 · 301 阅读 · 0 评论 -
卷积神经网络之3:GoogLeNet
nception(也称GoogLeNet)是2014年Christian Szegedy提出的一种全新的深度学习结构,在这之前的AlexNet、VGG等结构都是通过增大网络的深度(层数)来获得更好的训练效果,但层数的增加会带来很多负作用,比如overfit、梯度消失、梯度爆炸等。inception的提出则从另一种角度来提升训练结果:能更高效的利用计算资源,在相同的计算量下能提取到更多的...转载 2019-04-06 19:58:16 · 440 阅读 · 0 评论 -
卷积神经网络之4:VGG结构
VGGNet(Visual Geometry Group)可视化的几何学结构一.简介VGGNet是牛津大学计算机视觉组和DeepMind公司共同研发一种深度卷积网络,并且在2014年在ILSVRC比赛上获得了分类项目的第二名和定位项目的第一名。VGGNet一共有六种不同的网络结构,但是每种结构都有含有5组卷积,每组卷积都使用3x3的卷积核,每组卷积后进行一个2x2最大池化,接下来是三个...转载 2019-04-06 20:08:20 · 721 阅读 · 0 评论 -
卷积神经网络之5:ResNet
本文主要分析残差网络(ResNet)及其变种的结构。残差网络在论文Deep Residual Learning for Image Recognition中被提出。论文链接:https://arxiv.org/pdf/1512.03385.pdf1. Building block和Bottleneck结构首先resnet由building block或bottleneck组成。buil...转载 2019-04-06 20:09:06 · 1153 阅读 · 0 评论 -
卷积神经网络之6:DenseNet
论文:Densely Connected Convolutional Networks论文链接:https://arxiv.org/pdf/1608.06993.pdf代码的github链接:https://github.com/liuzhuang13/DenseNetMXNet版本代码(有ImageNet预训练模型): https://github.com/miraclewkf/De...转载 2019-04-06 20:10:17 · 780 阅读 · 0 评论 -
attention is all your need详解
Attention Is All You Need(注意力模型)直观“Attention 模型”深度学习中的注意力机制原创 2019-05-14 10:32:10 · 1041 阅读 · 0 评论