tangyt1990-CSDN博客

原创 deep learning toolbox学习5之SAE

总结一下SAE部分，整体来说十分简单，基本就是在NN基础上改了一点东西：首先，原来的训练过程是一个监督过程，即最后计算loss的时候是有train_y与f(wx+b)的差值来进行判断，而深度学习本身自学习或非监督学习能力很强，这里就是采用的非监督学习，autoencoder就是要通过x训练一个网络最后输出还是x，即f(x)=x，在toolbox中，只是最简单的三层网络784-100-784，即

2014-03-11 14:52:04 943

原创 deep learning toolbox学习4之CNN

看了论文和博客，对于CNN还是有些模糊，索性直接看代码，下面总结一下Toolbox中CNN的过程：网络结构是采用1-6c-2s-12c-2s的结构，对于初始层，相当于只有一层特征层作为输入，然后是CNN中所特有的c层和s层，这里说一下c层和s层，c层就是convolutional层，将输入层通过不同的卷积核map到几个特征层上，这里面就涉及到卷积操作和CNN的一大卖点共享权重，这一层主要相当于

2014-03-06 21:13:41 4469

原创 deep learning toolbox学习使用3之DBN

结合toolbox代码过程，总结一下DBN的过程：1.数据初始化如NN一样，使用mnist数据集，初始化学习率alpha，冲量项mometum，权重w，b（v层bias），c（h层bias）。与NN不同的是，w，b，c此处只是简单的初始化为0矩阵。Q1：w，b，c只初始化为0可以？在NN中是不可以的，因为将导致算法失效。Q2：只是将各维数据归到（0，1]，没有做标准化归一化处理？

2014-03-04 15:18:15 3471 2

原创 deep learning：改进BP过程的一些参数设定

结合模式分类中关于多层神经网络的讲解总结如何提高网络学习能力，主要是改进BP过程的一些trick：1.在实际训练中，应结合validation的学习曲线变化来决定何时停止训练（error最小的时候），因为训练曲线肯定会在err上一直下降，最终会导致过拟合2.激活函数，对于激活函数，应该要求存在非线性（不然线性作用线性还是线性，没有学习能力），有上下限（保证能够学习收敛），连续性和光滑性（B

2014-02-27 15:30:32 968

原创 deep learning toolbox学习使用2之NN

继续总结NN中的一些参数的使用，基本都是为了防止过拟合1.权重衰减项weightpenaltyl2，在经过bp过程之后，需要更新w的值，此时使用penalty项，个人理解为规则化项，代码中是增加dw的值，因为更新w时是减去dw，所以相当于减少了权重的幅度，目的是防止overfitting，这一项我理解相当于ufldl中更新w时多减去的lamda w部分，和之前效果比，错误率降低，说明还是有实际

2014-02-26 16:34:23 1419

原创 deep leaning toolbox学习使用1之NN

最近把hinton06年那篇经典文章又看了下，还是有不少不明白的，然后结合hinton的论文和UFLDL教程上来具体分析现在使用比较多的toolbox的实现过程，进而更好的理解deep leaning，今天主要总结一下最基础的NN（neural network），这个可以当做deep learning的整体框架，先从简单的入手吧。1.数据预处理使用的是mnist数据集，train 6000

2014-02-25 20:29:33 1545

tangyt1990的专栏