deep learning
Losteng
这个作者很懒,什么都没留下…
展开
-
MXNet设计和实现简介
MXNet设计和实现简介阅读目录Symbol: 声明式的符号表达式NDArray:命令式的张量计算KVStore:多设备间的数据交互读入数据模块训练模块计算图引擎数据通讯可移植性与其他系统相比内存的使用Scalability神经网络本质上是一种语言,我们通过它来表达对应用问题的理解。例如我们用卷积层来表达空间相关性,RNN来表达时间连续性。根据问题的转载 2016-03-17 17:40:17 · 1903 阅读 · 0 评论 -
Batch Normalization
在看到关于Batch Normalization 时,看到不错的,保留一下这里分五部分简单解释一下Batch Normalization (BN)。1. What is BN?顾名思义,batch normalization嘛,就是“批规范化”咯。Google在ICML文中描述的非常清晰,即在每次SGD时,通过mini-batch来对相应的activation做规范化操作,使得结果原创 2016-05-20 08:55:21 · 1338 阅读 · 0 评论 -
RCNN,Fast-RCNN,Faster-RCNN
RCNN的变体,在此介绍一下RCNN的相关变形及改进RCNN->SPPNET->Fast-RCNN->Faster-RCNN1.RCNN将原来的目标检测的过程与CNN建立连接,将检测转换成为region proposal的分类问题。RCNN算法的核心思想就是对每个区域通过CNN提取特征,然后接上一个分类器预测这个区域包含一个感兴趣对象的置信度,也就是说,转换成了一个图像原创 2016-05-17 23:26:55 · 2646 阅读 · 0 评论 -
Bag of Words
Bag-of-words model (BoW model) 最早出现在NLP和IR领域. 该模型忽略掉文本的语法和语序, 用一组无序的单词(words)来表达一段文字或一个文档. 近年来, BoW模型被广泛应用于计算机视觉中. 与应用于文本的BoW类比, 图像的特征(feature)被当作单词(Word).引子: 应用于文本的BoW modelWikipedia[1]上给出了如下原创 2016-05-17 22:33:52 · 1494 阅读 · 0 评论 -
rcnn的相关的知识
最近在看rcnn,rcnn主要是用来进行目标检测,语义分割的是一个将cnn使用到目标检测的突破,进而诞生了rcnn,sppnet,fast-rcnn,faster-rcnn在此,使用这个博文介绍一下以上的rcnn及其扩展中使用到的东西的简单介绍吧1,OverFeat OverFeat is a Convolutional Network-based image classifier原创 2016-05-17 22:23:01 · 916 阅读 · 0 评论 -
caffe 中的卷积的计算过程
最近在做实验是,发现看代码可以增加自己的认识,就最近对卷积的操作的总结方便今后的查阅,在卷积神经网络中,卷积算是一个必不可少的操作,下图是一个简单的各层的关系。可以看出一个很好的扩展的关系,下面是整个卷积的大概的过程图中上半部分是传统的卷积的操作,下图是一个矩阵的相乘的操作。下图是在一个卷积层中将卷积操作展开的具体操作过程,他里面按照卷积核的大小取数据然后展原创 2016-05-29 13:30:34 · 7707 阅读 · 0 评论 -
stochastic pool
看到很多的对CNN的改造的文章中都是对pool做东西,最近看到一个随机池化,就好奇的去看了一下可以参看这篇文章 Stochastic Pooling for Regularization of Deep Convolutional Neural Networks在caffe中是支持最大池化,均值池化,随机池化的在使用中常见的是mean-pooling和max-poo原创 2016-05-28 17:29:20 · 2338 阅读 · 0 评论 -
Dropout 与 DropConnect
最近看Fractional Max-pooling 时,中提到了Dropconnect,一时间忘记了,就找出原文看了一下。参考 原文:Regularization of Neural Networks using DropConnect现在总结一下,其实在实验中我们经常使用的是dropout ((Hinton et al., 2012).)方法,这篇文章提出的dropconnect的原创 2016-05-28 17:18:51 · 5617 阅读 · 0 评论 -
Global average Pooling
最近在看关于cifar10 的分类的识别的文章在看all convolution network 中看到中用到一个global average pooling 下面就介绍一下global average pooling 这个概念出自于 network in network 主要是用来解决全连接的问题,其主要是是将最后一层的特征图进行整张图的一个均值池化,形成一个特征点,将这原创 2016-05-28 00:24:34 · 44043 阅读 · 4 评论 -
selectIve search for object recognize
在RCNN中使用到的selective searchselectIve search 主要完成的任务有点像是在多目标的图中找到特定的目标的首先什么是一幅图中的目标,怎样来区分提取对于图b,我们可以根据颜色来分开两只猫,但是不能根据纹理来分开。对于图c,我们可以根据纹理来找到变色龙,但是不能根据颜色来找到。对于图d,我们将车轮归类成车的一部分,既不是因为颜色相近,原创 2016-05-13 11:23:01 · 2009 阅读 · 0 评论 -
Long-short time memory
Recurrent Neural Networks人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候,你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃,然后用空白的大脑进行思考。我们的思想拥有持久性。传统的神经网络并不能做到这点,看起来也像是一种巨大的弊端。例如,假设你希望对电影中的每个时间点的时间类型进行分类。传统转载 2016-04-11 20:35:04 · 999 阅读 · 0 评论 -
梯度弥散
在深度神经网络中经常听说梯度弥散,下面就介绍一下,并搜集了当时的科学家是怎样避免的梯度弥散问题梯度下降法(以及相关的L-BFGS算法等)在使用随机初始化权重的深度网络上效果不好的技术原因是:梯度会变得非常小。具体而言,当使用反向传播方法计算导数的时候,随着网络的深度的增加,反向传播的梯度(从输出层到网络的最初几层)的幅度值会急剧地减小。结果就造成了整体的损失函数相对于最初几层的权重原创 2016-03-30 23:41:02 · 20948 阅读 · 1 评论 -
CAE(Convolutional Auto-Encode) 卷积自编码
最近复习一下之前看的深度学习的网络,在deeplearning-toolbox中看到一个CAE一时没想起来就看了一下官方的解释CAE(Convolutional Auto-Encode) 卷积自编码 ,对于这个深度学习的网络的的解释很少。下面谈一下自己的认识,算是总结吧CAE(Convolutional Auto-Encode) 卷积自编码 :一种卷积自编码器,其实现的过程与Aut原创 2016-04-05 19:05:00 · 32579 阅读 · 6 评论 -
深度学习之对抗样本问题
2006 年,Geoffrey Hinton 提出了深度学习。受益于大数据的出现和大规模计算能力的提升,深度学习已然成为最活跃的计算机研究领域之一。深度学习的多层非线性结构使其具备强大的特征表达能力和对复杂任务的建模能力。最近几年,深度学习的发展也带动了一系列的研究。尤其是在图像识别领域,在一些标准测试集上的试验表明,深度模型的识别能力已经可以达到人类的水平。但是,人们还是会产生一个疑问,对于一个转载 2016-04-07 22:19:52 · 2767 阅读 · 0 评论 -
神经网络的DBN,CNN,RCNN介绍
转载 2016-03-09 10:24:40 · 6734 阅读 · 0 评论 -
DBM 与DBM的区别
最近在看管与深度学习的东西,发现hitton 的RBM 推广的DBN与DBM之间的差异,不是很清楚,就查阅一些资料,总结一下如上图是一个三层的DBM,十分类似于DBN,但是他的隐层是互相可以传递的,而DBN的几个隐层是不能够互相传递的,是单向的。关于DBM,使用最大似然估计训练速度太慢了,所以作者采用Greedy Layerwise的贪婪分层法来进行pretra原创 2016-03-31 09:04:55 · 9266 阅读 · 1 评论 -
卷积的计算的conv2
最近在看到一些卷积的东西,发现使用相同的卷积核卷积出来的图像的尺寸不同,就从网上查找了一下发现了问题,记录一下。关于conv2函数的计算过程假设有两个矩阵a,b,a的大小是ma行na列,b的大小是mb行nb列。c=conv2(a,b)计算这两个矩阵的卷积,c的大小是ma+mb-1行,na+nb-1列。计算过程如下:1.对矩阵a进行边界填补0,填充规则是:在a的第一行之前和最后一原创 2016-03-28 10:58:38 · 3603 阅读 · 0 评论 -
深度信念网络(Deep Belief Network)
“深度学习”学习笔记之深度信念网络 本篇非常简要地介绍了深度信念网络的基本概念。文章先简要介绍了深度信念网络(包括其应用实例)。接着分别讲述了:(1) 其基本组成结构——受限玻尔兹曼机的的基本情况,以及,(2) 这个基本结构如何组成深度信念网络。 本文仅仅能使读者了解深度信念网络这一概念,内容非常浅显,甚至有许多不严密的地方。如果有愿意深入了解受限玻尔兹曼机、深度信念网络的,想对转载 2016-03-28 21:11:34 · 57011 阅读 · 5 评论 -
神经网络中的激活函数
最近在看深度学习的东西,激活函数是其中的一个环节,就从网上的一搜寻关于激活函数的介绍激活函数是用来加入非线性因素的,因为线性模型的表达能力不够。常用激活函数 激活函数的选择是构建神经网络过程中的重要环节,下面简要介绍常用的激活函数。主要解决传统神经网络对非线性问题的表征弱的问题。(5) 双曲正切函数 该函数的导函数:(6)ReLu(Rectified Linear Units)函数...原创 2016-03-09 11:17:06 · 43071 阅读 · 2 评论