自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Caffe4——计算图像均值

均值削减是数据预处理中常见的处理方式,按照之前在学习ufldl教程PCA的一章时,对于图像介绍了两种:第一种常用的方式叫做dimension_mean(个人命名),是依据输入数据的维度,每个维度内进行削减,这个也是常见的做法;第二种叫做per_image_mean,ufldl教程上说,在natur...

2015-05-06 20:17:35 8329 2

原创 Caffe3——ImageNet数据集创建lmdb类型的数据

ImageNet数据集和cifar,mnist数据集最大的不同,就是数据量特别大;单张图片尺寸大,训练样本个数多;面对如此大的数据集,在转换成lmdb文件时;使用了很多新的类型对象。 1,动态扩容的数组“vector”,动态地添加新元素 2,pair类型数据对,用于存储成对的对象,例如存储文件...

2015-05-04 21:01:44 12558 14

原创 Caffe2——cifar10数据集创建lmdb或leveldb类型的数据

cifar10数据集和mnist数据集存储方式不同,cifar10数据集把标签和图像数据以bin文件的方式存放在同一个文件内,这种存放方式使得每个子cifar数据bin文件的结构相同,所以cifar转换数据代码比mnist的代码更加的模块化,分为源数据读取模块(image_read函数),把lmd...

2015-04-29 15:20:01 8217 2

原创 Caffe1——Mnist数据集创建lmdb或leveldb类型的数据

Leveldb和lmdb简单介绍 Caffe生成的数据分为2种格式:Lmdb和Leveldb。 它们都是键/值对(Key/Value Pair)嵌入式数据库管理系统编程库。 虽然lmdb的内存消耗是leveldb的1.1倍,但是lmdb的速度比leveldb快10%至15%,更重要的是lmd...

2015-04-28 09:00:52 14299 3

转载 Google Protocol Buffer 的使用和原理

原文链接:http://www.ibm.com/developerworks/cn/linux/l-cn-gpb/ Protocol Buffers 是一种轻便高效的结构化数据存储格式,可以用于结构化数据串行化,很适合做数据存储或 RPC 数据交换格式。它可用于通讯协议、数据存储等领域的语言无关...

2015-04-28 08:21:28 1444 0

原创 深度学习研究理解11:Going deeper with convolutions

本文是Google公司的Christian Szegedy等大牛们于2014年提出的“深深”的网络,其中提出了很多新颖的结构和想法;并在ILSVRC2014中,获得了分类和检测第一的好成绩。 摘要: 本文提出了一个新深度网络的“结构”,命名为inception(开端之意,个人命名为起航);这个...

2015-02-08 11:15:31 9167 1

原创 深度学习研究理解10:Very Deep Convolutional Networks for Large-Scale Image Recognition

本文是牛津大学 visual geometry group(VGG)Karen Simonyan 和Andrew Zisserman 于14年撰写的论文,主要探讨了深度对于网络的重要性;并建立了一个19层的深度网络获得了很好的结果;在ILSVRC上定位第一,分类第二。 一:摘要 …… 从Alex-...

2015-02-06 13:37:33 18007 5

原创 深度学习研究理解9:Convolutional Neural Networks at Constrained Time Cost

本文是MSRA的何恺明在14年写的论文,通过一系列的替换实验,探讨了在限定复杂度和时间上,如何设计卷积网络结构,使得网络的性能最好。本文提出的CNN结构,在单个GPU上训练3到4天,在简单的10-view测试下获得了top-5 11.8%的准确率;做到了不尽快而且准确。 摘要:本文主要结论,1在提...

2015-02-04 16:59:35 4703 1

原创 深度学习研究理解8:Understanding Deep Architectures using a Recursive Convolutional Network

本文是纽约大学,David Eigen和Jason Rolfe等13年撰写的论文;和他们的上一篇通过deconvnet网络可视化来理解深度卷积网络不同的是,本文通过循环卷积网络来探究网络深度,参数个数,特征个数等网络结构对于网络性能的影响。 摘要:层数,特征个数,filter尺寸,间隔数,pool...

2015-02-03 16:27:19 2490 0

原创 深度学习研究理解7:Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition

本文是MSRA何恺明于13年撰写的论文,主要是把经典的Spatial Pyramid Pooling结构引入CNN中,从而使CNN可以处理任意size和scale的图片;这中方法不仅提升了分类的准确率,而且还非常适合Detection,比经典的RNN快速准确。 一:介绍 目前流行的CNN都需要固定...

2015-02-02 21:03:14 17786 12

原创 深度学习研究理解6:OverFeat:Integrated Recognition, Localization and Detection using Convolutional Networks

本文是纽约大学Yann LeCun团队中Pierre Sermanet ,David Eigen和张翔等在13年撰写的一篇论文,本文改进了Alex-net,并用图像缩放和滑窗方法在test数据集上测试网络;提出了一种图像定位的方法;最后通过一个卷积网络来同时进行分类,定位和检测三个计算机视觉任务,...

2015-02-01 20:27:01 13155 6

原创 深度学习研究理解5:Visualizing and Understanding Convolutional Networks

Visualizing and understandingConvolutional Networks 本文是Matthew D.Zeiler 和Rob Fergus于(纽约大学)13年撰写的论文,主要通过Deconvnet(反卷积)来可视化卷积网络,来理解卷积网络,并调整卷积网络;本文通过Dec...

2015-01-30 20:20:32 11706 6

原创 深度学习研究理解4:ImageNet Classification with Deep Convolutional Neural Network

本文是Alex和Hinton参加ILSVRC2012比赛的卷积网络论文,本网络结构也是开启Imagenet数据集更大,更深CNN的开山之作,本文对CNN的一些改进成为以后CNN网络通用的结构;在一些报告中被称为Alex-net,之后在Imagenet上取得更好结果的ZF-net,SPP-net,V...

2015-01-27 21:02:25 13791 5

原创 深度学习论文理解3:Flexible, high performance convolutional neural networks for image classification

本文是11年Dan C.Ciresan的作品,主要贡献是提供了一种快速,全GPU部署的CNN计算框架,通过快速的GPU计算可以让作者尝试相对以前的神经网络更深的CNN,而且是仅仅使用监督学习的方式。 本来不想写本文的总结的,但是最近看了ImageNet上取得好成绩的网络,都是通过GPU(caffe...

2015-01-26 10:30:52 2825 0

原创 深度学习论文理解2:on random weights and unsupervised feature learning

本文是2010年斯坦福大学andrew ng他们团队的作品;让人莫名其妙的是,本文有两个版本,两个版本略有差别版本1:http://www.icml2011.org/papers/551_icmlpaper.pdf  ;2:http://web.stanford.edu/~asaxe/papers...

2015-01-24 16:15:01 2149 0

原创 深度学习论文理解1:what is the best multi-stage architecture for Object Recognition

本文是09年,Yann LeCun团队的一篇论文,论文主要讨论了卷积结构网络中各个layer的作用,进而探讨一个好的深度结构分类网络应该是什么样子的。 摘要:在很多目标识别系统的特征提取阶段主要分为三部分:卷积,非线性变换和pooling 本文提出三个问题: 1.卷积层后的非线性变换如何应用...

2015-01-24 11:04:46 3834 0

原创 神经网络学习算法matlab应用分析

摘要:为了提高BP神经网络模型运用效果,基于不同方法提出了很多的优化算法算法例如从经典梯度下降法,到复杂的BFGS,LM算法等,然而不同的算法在不同的应用场景有不同的效果,本文以matlab神经网络工具箱为基础,比较各种优化算法在预测分类问题中的应用效果,并分析各种算法优缺点,为神经网络优化算法的...

2014-10-30 20:42:14 11844 1

原创 隐马尔科夫模型matlab工具箱说明

隐马尔可夫模型(HiddenMarkov Model,HMM)是统计模型,它用来描述一个含有隐含未知参数的马尔可夫过程;是序列数据处理和统计学习的重要模型。其难点是从可观察的参数中确定该过程的隐含参数,然后利用这些参数来作进一步的分析。本论文首先从隐马尔可夫模型基本理论和模型的表达式出发,系统的介...

2014-10-30 20:04:50 28291 7

原创 DeepLearnToolbox代码详解——SAE,DAE模型

一:引言.sae,dae,dropout模型简介 上面提到的三个模型都是在经典的多层神经网络的基础上加深构架得到;例如sae(Stack autoencoder)就是理堆叠多个autoencoder,然后使用fine_tuning过程;dae(Denoising autoencoder)是在标准...

2014-07-16 16:31:48 23164 31

原创 Dropout原理,代码浅析

Dropout原理介绍 因为在机器学习的一些模型中,如果模型的参数太多,而训练样本又太少的话,这样训练出来的模型很容易产生过拟合现象。在训练bp网络时经常遇到的一个问题,过拟合指的是模型在训练数据上损失函数比较小,预测准确率较高(如果通过画图来表示的话,就是拟合曲线比较尖,不平滑,泛化能力不好)...

2014-07-15 09:08:07 12789 0

原创 Denosing Autoencoder训练过程代码详解

普通deep autoencoder训练过程 一:加载数据  二:pre_training阶段 2.1初始化DAE网络框架 sae = saesetup([784 100 100]);%建立一个3层网络 在函数saesetup函数内部,循环调用nnsetup函数,此处2次调用nnsetu...

2014-07-13 17:27:59 8288 4

原创 Denosing Autoencoder原理以及结果简介

本文是看了,bengio的论文Extracting and composing robust features withdenoising autoencoders,整理而得。 文章开始先提出什么是好的特征,或者好的特征应该具有的性质: 1最大化的保留原始信息, 2稀疏性 3 鲁棒性,...

2014-07-13 17:07:18 5021 0

原创 ICA特征提取

看完了ICA的一整套原理介绍后,感觉完整的介绍和andrew ng的课程中的ICA特征提取关系不是很大;在ICA的理论中,主要用于盲源分离的,也就是混合的观测数据X,通过一个正交的且其范数为1的分离矩阵W(其实是实现旋转变换),分解为相互独立的原始信号数据S=WX。(这里要求S,W,X都为n*n的...

2014-07-03 08:31:10 4169 0

原创 ICA算法简介

ICA算法的研究可分为基于信息论准则的迭代估计方法和基于统计学的代数方法两大类,从原理上来说,它们都是利用了源信号的独立性和非高斯性。基于信息论的方法研究中,各国学者从最大熵、最小互信息、最大似然和负熵最大化等角度提出了一系列估计算法。如FastICA算法, Infomax算法,最大似然估计算法等...

2014-07-02 11:15:17 15457 1

原创 数据处理中白化Whitening的作用图解分析

之前在看斯坦福教程中whiteining这一章时,

2014-07-01 09:18:46 35005 4

原创 ICA 原理以及相关概率论,信息论知识简介

一:引言 看完了sparse coding,开始看ICA模型,本来ng的教程上面就只有一个简短的介绍,怎奈自己有强迫症,爱钻牛角尖,于是乎就搜索了一些ICA的介绍文章(都是从百度文库中搜来的),看完之后感觉这个略懂一二,遂写文以记之,一为加深印象,二为分享交流。 ICA  Independen...

2014-06-30 21:01:40 3693 0

原创 Autoencoder ,Sparse Coding ,Sparse autoencoder 简介

最近刚刚运行完成sparse coding;才解决了自己的困惑,以前学习完Sparse autoencoder从感觉这两个东西是“一丘之貉”;但是运行完成之后才发现他们两个有很大的不同,虽然都是对数据进行变换,但是二者的变换原理是完全不同的。详细的下面纤细介绍。 1.Autoencoder ...

2014-06-24 22:13:37 3536 1

原创 kmeans特征提取原理,详细代码图解分析

一、数据、数据预处理 2.1数据:  下载的CIFAR-10数据库;其中的每个data_batch都是10000x3072大小的,即有1w个样本图片,每个图片都是32*32且rgb三通道的,这里的每一行表示一个样本。 提取40W个训练patches: patches = zeros(num...

2014-05-28 22:02:23 14299 1

原创 k-means聚类原理 代码分析

K-means聚类算法 聚类算法,不是分类算法。 分类算法是给一个数据,然后判断这个数据属于已分好的类中的具体哪一类。 聚类算法是给一大堆原始数据,然后通过算法将其中具有相似特征的数据聚为一类。 这里的k-means聚类,是事先给出原始数据所含的类数,然后将含有相似特征的数据聚为一个类中。...

2014-05-28 11:13:04 4771 0

原创 深度学习随笔

由于笔者,还是称作“键人”吧,因为现在基本上不怎么用笔写字了,所以称作笔者

2014-05-20 11:18:48 1097 0

转载 DeepLearning(深度学习)原理与实现(一)

经过三年的狂刷理论,觉得是时候停下来做些有用的东西了,因此决定开博把他们写下来,一是为了整理学过的理论,二是监督自己并和大家分享。先从DeepLearning谈起吧,因为这个有一定的实用性(大家口头传的“和钱靠的很近”),国内各个大牛也都谈了不少,我尽量从其他方面解释一下。         ...

2014-05-20 09:54:28 2055 0

转载 深度学习读书笔记之RBM(限制波尔兹曼机)

深度学习读书笔记之RBM 声明: 1)看到其他博客如@zouxy09都有个声明,老衲也抄袭一下这个东西 2)该博文是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。 3)本文仅供学术交流,非商用。所以每一部分具体的参考资料并没有...

2014-05-20 09:39:44 2857 0

转载 【面向代码】学习 Deep Learning(二)Deep Belief Nets(DBNs)

========================================================================================== 最近一直在看Deep Learning,各类博客、论文看得不少 但是说实话,这样做有些疏于实现,一来呢自...

2014-05-20 09:27:37 3582 1

原创 卷积神经网络CNN介绍:结构框架,源码理解

卷积神经网络介绍:结构框架,源码理解   1.卷积神经网络结构 卷积神经网络是一个多层的神经网络,每层都是一个变换(映射),常用卷积convention变换和pooling池化变换,每种变换都是对输入数据的一种处理,是输入特征的另一种特征表达;每层由多个二维平面组成,每个平面为各层处理后的特征图(...

2014-05-08 10:14:25 16773 3

原创 卷积Convolution和池化pooling特征提取,分类

前言:   本次实验是练习convolution和pooling的使用,更深一层的理解怎样对大的图片采用convolution得到每个特征的输出结果,然后采用pooling方法对这些结果进行计算,使之具有平移不变等特性。实验参考的是斯坦福网页教程:Exercise:Convolution and...

2014-03-26 11:30:27 14750 3

原创 linear Decoder (线性自动稀疏编码)

一、简介   稀疏自编码包含3层神经元,分别是输入层,隐含层以及输出层。自编码网络中的神经元采用的是相同的激励函数(S型函数)。   S型函数的输出范围是[0,1],当神经元采用S型函数时,其输出范围也在[0,1]内;由于输出范围在0和1之间,这就要求采用自码时,对输入数据进行限制或者放缩,使其范...

2014-03-24 11:06:34 2515 0

原创 Deep Networks for Classification 和 栈式自编码 代码详细解析

本文分为三部分,前言和实验基础copy自tornadomeet博客;后面代码详解为自己原创。 前言:   本次是练习2个隐含层的网络的训练方法,每个网络层都是用的sparse autoencoder思想,利用两个隐含层的网络来提取出输入数据的特征。本次实验验要完成的任务是对MINST进行手写数...

2014-03-22 16:17:07 4091 3

原创 特征学习 (Self_taught Learning)

简介           如果已经有一个足够强大的机器学习算法,为了获得更好的性能,最靠谱的方法之一是给这个算法以更多的数据。机器学习界甚至有个说法:“有时候胜出者并非有最好的算法,而是有更多的数据。”      在自学习和无监督特征学习问题上,可以给算法以大量的未标注数据,学习出较好的特征描述。...

2014-03-20 11:07:32 2819 0

转载 关于特征和特征学习的重要性

原文链接:http://blog.csdn.net/zouxy09/article/details/8775488 因为我们要学习的是特征的表达,那么关于特征,或者说关于这个层级特征,我们需要了解地更深入点。所以在说Deep Learning之前,我们有必要再啰嗦下特征(呵呵,实际上是看...

2014-03-20 09:43:19 1361 1

原创 PCA ,PCAWhitening ,ZCAWhitening

PCA ,PCAWhitening,ZCAWhitening 白化的目的: 举例来说,假设训练数据是图像,由于图像中相邻像素之间具有很强的相关性,所以用于训练时输入是冗余的。白化的目的就是降低输入的冗余性;更正式的说,我们希望通过白化过程使得学习算法的输入具有如下性质:(i)特征之间相关性较低;(...

2014-03-18 11:05:22 3265 0

提示
确定要删除当前文章?
取消 删除