深度学习
小智rando
这个作者很懒,什么都没留下…
展开
-
卷积神经网络
卷积神经网络组成:输入层卷积层激活函数池化层全连接层卷积过程原始输入为三通道的彩色图片x1、x2、x3,经过核函数w1、w2的卷积,得到两个特征输出o1、o2那如何计算输出特征的矩阵大小呢?现有输入为7x7x1的图片,且步长为1,经过3x3x1的核函数(个数K),发现核函数在红框和绿色框中都可以移动5次,所以得到输出为5x5x1的矩阵有以下计算公式:设输入为长宽为w、h...原创 2019-04-22 16:09:05 · 471 阅读 · 0 评论 -
VGGNet
VGGNetVGGNet是2014年ILSVRC竞赛分类任务的第二名(第一名是 GoogLeNet)和定位任务的第一名。VGGNet新特点对卷积核和池化大小进行了统一: 3x3卷积和2x2最大池化操作采用卷积层堆叠的策略,将多个连续的卷积层构成卷积层组采用小的卷积滤波器,网络更深(16/19层)不采用LRN(Local Response Normalization)VGG网络架构...原创 2019-09-29 20:15:02 · 323 阅读 · 1 评论 -
NIN(Network in Netword)-1x1卷积
在网络中构建微型网络Mlpconv,它对conv特征进行了组合,提高了卷积的有效性对单个像素, 1x1卷积等效于该像素点在所有特征上进行一次全连接计算MIpconv中的全连接可以通过1x1卷积快速实现Mlpconv的作用作用1:通过叠加更多的卷积结果,经过ReLU激励,能在相同的感受野范围中提取更强的非线性特征。即上层特征可以更复杂的映射到下层。作用2:使用1 x1卷积进行降维,...原创 2019-09-29 20:44:51 · 316 阅读 · 0 评论 -
GoogLeNet Inception v1
GooLeNet是ILSVRC2014竞赛图像分类任务第一名使用了更深的网络22层(包括池化层共27层)高效的"Inception"模块无全连接层参数数量仅为AlexNet的1/12ILSVRC-2014的分类和检测任务的冠军(6.7% top-5 error)Inception module (聚合)设计良好的局部网络拓扑,然后将这些模块堆叠在一起对前一层的输入进行并行...原创 2019-09-29 21:24:27 · 341 阅读 · 1 评论 -
BN-Inception v2 网络
BN-Inception核心组件Batch Normalization (批归—化)目前BN已经成为几乎所有卷积神经网络的标配技巧5x5卷积核→ 2个3x3卷积核Batch Normalization的采用理由**内部协变量偏移(Internal Covariate Shift) ????*训练时网络参数的变化引起的网络激活分布的变化输入的图片经过训练,参数的变化会引起不同层的特征...原创 2019-09-29 22:14:50 · 1514 阅读 · 0 评论 -
Inception v3
下面的模块可以处理上一层中35x35的感受野大小,且处理的图片大小35x35,称35x35grid一层3x3卷积又可以用一层1x3卷积和3x1卷积来替代同理,n x n的卷积可以用1 x n 和n x 1的卷积替代:n = 7 --> 17x17 gridMaking the inception module wider设计更宽的inception moduleInc...原创 2019-09-30 15:05:13 · 407 阅读 · 0 评论 -
Inception v4、Inception-ResNet
Inception v4由于历史的原因, Inception v3继承了太多的历史包袱,设计并非最优的,技术上的限制主要是为了模型能在DistBelief进行分布式训练。迁移到Tensorflow后,去掉不必要的历史包袱,做一个简单一致的网络设计,有了Inception v4.Inception v4网络架构其中包含了Stem、Inception、Reduction、Avarge Po...原创 2019-09-30 17:17:22 · 290 阅读 · 0 评论 -
ResNeXt
主要思想:Inception借鉴ResNet提出Inception-ResNetResNet也借鉴Inception提出ResNext,主要就是单路卷积变成多个支路的多路卷积,进行分组卷积。卷积的范式归纳了Inception的模式: split-transform-merge如下图所示,先将输入分配到多路,然后每一路进行转换,最后再把所有支路的结果融合。Inception的缺点...原创 2019-09-30 20:14:02 · 637 阅读 · 0 评论 -
DenseNet
DenseNet: Densely Connected Convolutional Networks在dense block 中,每一层以前馈方式连接到每一个其它的层减轻梯度消失,加强特征传播,鼓励特征重用5-layer dense block with growth rate of k=4Each layer takes all preceding feature-maps a...原创 2019-09-30 21:03:07 · 226 阅读 · 0 评论 -
SqueezeNet
Squeezenet: AlexNet-level Accuracy With 50x Fewer Parameters and <0.5MB Model Size, ICLR 2017.https://arxiv.org/abs/1602.07360作者提出的SqeezeNet在ImageNet上实现了和AlexNet相同的正确率,但是只使用了1/50的参数。更进一步,使用模型压缩...原创 2019-10-01 15:25:54 · 248 阅读 · 0 评论 -
Xception 深度可分离卷积
François Chollet.Xception: Deep Learning with Depthwise Separable Convolutions, CVPR 2017.https://arxiv.org/abs/1610.02357主要特点Xception: Extreme version of InceptionXception是google继Inception后提出的...原创 2019-10-01 17:02:36 · 2069 阅读 · 0 评论 -
ResNet
Forward:from shallow to deepAlexnet的出现带火了深度学习,其最重要的特点为通过数据驱动让模型自动学习特征,省去了人工寻找特征的步骤。但不同的模型也找出不同质量的特征,特征的质量直接影响到分类结果的准确度,表达能力更强的特征也给模型带来更强的分类能力。因此,深度网络通过数据学习到表达能力更强的特征。特征也可以根据复杂度和表示能力粗略的分为高中低三种种类,理论上讲...转载 2019-10-01 20:51:04 · 1442 阅读 · 0 评论 -
AlexNet
AlexNet首次引入了ReLU, Dropout和Local Response Normalization (LRN)等技巧。双CPU并行计算,在第三个卷积层Conv3和全连接层做信息交互*算力:所需要的浮点数乘加的次数使用ReLU作为CNN的激活函数,并验证其效果在较深的网络超过了Sigmoid,解决了Sigmoid在网络较深时的梯度弥散问题,提高了网络的训练速...原创 2019-09-29 17:08:27 · 1462 阅读 · 0 评论 -
attention
说attention模型之前呢,先了解一下Encoder-Decoder框架的概念因为目前绝大多数文献中出现的AM模型是附着在Encoder-Decoder框架下的,当然,其实AM模型可以看作一种通用的思想,本身并不依赖于Encoder-Decoder模型,这点需要注意。下图是文本处理领域里常用的Encoder-Decoder框架最抽象的一种表示:Encoder-Decoder框架可以这么...原创 2019-07-28 20:40:54 · 750 阅读 · 0 评论 -
R-CNN到Faster R-CNN
Classification and Location分类和位置标定sliding window滑动窗口:首先对输入图像进行不同窗口大小的滑窗进行从左往右、从上到下的滑动。每次滑动时候对当前窗口执行分类器(分类器是事先训练好的)。如果当前窗口得到较高的分类概率,则认为检测到了物体。对每个不同窗口大小的滑窗都进行检测后,会得到不同窗口检测到的物体标记,这些窗口大小会存在重复较高的部分,最后采用...原创 2019-04-23 14:44:34 · 276 阅读 · 0 评论 -
网络结构的巧妙设计
大概内容卷积:如何减小参数个数,且效果更好池化池化:池化是为了将特征压缩,加快收敛,同时也较小了原始图片的效果如一个224x224的特征,卷积之后为112x112,为了弥补代价,将深度增大两倍,即224 x 224 x C的特征,卷积之后为112 x 112 x 2C卷积:感受野receptive field:在卷积神经网络CNN中,决定某一层输出结果中一个元素所对应的输入层的区...原创 2019-04-23 16:51:05 · 480 阅读 · 0 评论 -
Graduent Descent
目录:(0)梯度下降原理(1)Vanilla Gradient descent(2)Adagrad(3)Stochastic Gradient Descent(4)迭代技巧:Feature Scaling特征归一化(5)Question:梯度更新Loss并不是一定下降(6)梯度下降的限制梯度下降梯度的本意是一个向量(矢量),表示某一函数在该点处的方向导数沿着该方向取得最大值,即函...原创 2019-07-02 14:09:01 · 155 阅读 · 0 评论 -
训练技巧
1、数据增强:水平翻转(镜面),对于计算机来说是完全不同的图片Random crops/scales:crops:输入的图片可能存在遮挡等现象,随机的对图片进行切割,可增强鲁棒性scales:对图片进行放大,缩小等变换random mix/combinations of:随机组合translation像素点的平移rotation角度变换stretchingshearingl...原创 2019-06-28 21:55:52 · 145 阅读 · 0 评论 -
regression
构建模型步骤:Step1:选择模型Step2:样本Step3:迭代(梯度下降)技巧:多类的回归overfittingRegularization正则化(1)lambda的选择Step1:选择模型线性y=wx或者其他Step2:样本(1)样本带入模型:(2)Loss Function:真实值和预测值的误差:(3)选择最好的参数:Step3:迭代梯度下降...原创 2019-06-30 22:03:05 · 555 阅读 · 0 评论 -
DCGAN深度卷积生成对抗网络
1、什么是GANGAN 主要包括了两个部分生成器 generator生成器主要用来学习真实图像分布从而让自身生成的图像更加真实,以骗过判别器。判别器 discriminator。判别器则需要对接收的图片进行真假判别。过程:生成器努力地让生成的图像更加真实,而判别器则努力地去识别出图像的真假,这个过程相当于一个二人博弈,随着时间的推移,生成器和判别器在不断地进行对抗,最终两个网络达到了...原创 2019-07-21 13:39:50 · 534 阅读 · 0 评论 -
神经网络
1、线性分类:将输入的图像通过函数,得到每个类别的得分向量2、得分函数:将32x32x3的输入图像reshepe成3072x1的向量,通过10x3072的参数矩阵,得到10x1的输出向量计算每个类的得分:w,x,b决定不同的直线,可将W中的每一行理解为对于不同类别的参数,不同的类别有不同的w,从而有不同的直线3、损失函数*衡量直线和数据的吻合度(1)损失函数1:hinge ...原创 2019-07-20 20:39:30 · 168 阅读 · 0 评论 -
强化学习
监督学习也称有导师学习,给定系统一组输入时,需要给定一组对应的输出,系统在一种已知输入-输出数据集的环境习学习。与监督学习相反的是无监督学习,也称无导师学习。无监督学习中,只需要给定一组输出,不需要给定对应的输出,系统自动根据给定输入的内部结构来进行学习。强化学习主要是主动对环境进行试探,并根据试探后,环境反馈回来的结果进行评价、总结,以改进和调整自身的行为,然后环境会根据新的行为作出新的反馈,...原创 2019-07-30 12:53:42 · 987 阅读 · 0 评论 -
embeding的理解
神经网络通过训练得到一个语言模型。首先将原始文本的每个词随机初始化为一个向量,再将每个向量拼接成一个大矩阵,这样词之间都会有相互的联系,作为神经网络的输入层。通过一个隐藏层之后,加上softmax,将y转换为对应的概率值。神经网络简单理解,就是对特征进行高维的映射,使相同的特征聚集在一起,就比如卷积神经网络来说,不同的核函数,就能够在图像上提取到不同的特征,有直线、斜线、边缘等等。例如对于下...原创 2019-08-02 21:54:24 · 603 阅读 · 0 评论 -
Word2Vec原理
语言模型统计语言模型是一个单词序列上的概率分布,对于一个给定长度为m的序列,它可以为整个序列产生一个概率 P(w_1,w_2,…,w_m) 。其实就是想办法找到一个概率分布,它可以表示任意一个句子或序列出现的概率。语言模型实例:通过联合分布将词语间的先后顺序表示出来,一句话的新出现的词语都是建立在之前的词语的基础上的p(S)=p(w1,w2,w3,w4,w5,…,wn) = p(w1)p(w...原创 2019-07-31 17:13:52 · 221 阅读 · 0 评论 -
RNN
1、RNN结构介绍Xt:时间t处的输入St:时间t处的记忆我们知道,神经网络就是对多个信息特征以不同的参数加权,而在RNN中,St就是对Xt当前知识和St-1以前学到的知识以权重U、W合并,Xt和St-1为不同维度的向量形式。U、W:对Xt和St-1直接求和并不是合理的方式,所以需要通过不同的权重(根据当前的场景更新权重,具有更大的自由度)将Xt和St-1转换维度并合并。f:一般选择...原创 2019-07-27 14:51:48 · 467 阅读 · 0 评论 -
Faster rcnn RPN
RPN(Region Proposal Networks)RPN 的全称为 Region Proposal Networks,提取用于目标检测的 regions,这一步骤意在取代传统 R-CNN中利用 selective search 提取候选框的过程。特征图中每个红色框的中心点都可以对应到原图的某个点,原图中的这个点被称为锚点(anchor)。对于每个锚点,我们都会以它为中心点选择 9 个...原创 2019-10-07 15:09:28 · 663 阅读 · 0 评论