机器学习
文章平均质量分 54
tangyt1990
这个作者很懒,什么都没留下…
展开
-
deep learning:改进BP过程的一些参数设定
结合模式分类中关于多层神经网络的讲解总结如何提高网络学习能力,主要是改进BP过程的一些trick:1.在实际训练中,应结合validation的学习曲线变化来决定何时停止训练(error最小的时候),因为训练曲线肯定会在err上一直下降,最终会导致过拟合2.激活函数,对于激活函数,应该要求存在非线性(不然线性作用线性还是线性,没有学习能力),有上下限(保证能够学习收敛),连续性和光滑性(B原创 2014-02-27 15:30:32 · 955 阅读 · 0 评论 -
deep learning toolbox学习4之CNN
看了论文和博客,对于CNN还是有些模糊,索性直接看代码,下面总结一下Toolbox中CNN的过程:网络结构是采用1-6c-2s-12c-2s的结构,对于初始层,相当于只有一层特征层作为输入,然后是CNN中所特有的c层和s层,这里说一下c层和s层,c层就是convolutional层,将输入层通过不同的卷积核map到几个特征层上,这里面就涉及到卷积操作和CNN的一大卖点共享权重,这一层主要相当于原创 2014-03-06 21:13:41 · 4457 阅读 · 0 评论 -
deep leaning toolbox学习使用1之NN
最近把hinton06年那篇经典文章又看了下,还是有不少不明白的,然后结合hinton的论文和UFLDL教程上来具体分析现在使用比较多的toolbox的实现过程,进而更好的理解deep leaning,今天主要总结一下最基础的NN(neural network),这个可以当做deep learning的整体框架,先从简单的入手吧。1.数据预处理使用的是mnist数据集,train 6000原创 2014-02-25 20:29:33 · 1524 阅读 · 0 评论 -
deep learning toolbox学习使用2之NN
继续总结NN中的一些参数的使用,基本都是为了防止过拟合1.权重衰减项weightpenaltyl2,在经过bp过程之后,需要更新w的值,此时使用penalty项,个人理解为规则化项,代码中是增加dw的值,因为更新w时是减去dw,所以相当于减少了权重的幅度,目的是防止overfitting,这一项我理解相当于ufldl中更新w时多减去的lamda w部分,和之前效果比,错误率降低,说明还是有实际原创 2014-02-26 16:34:23 · 1405 阅读 · 0 评论