稀疏自编码
lecturekeke
这个作者很懒,什么都没留下…
展开
-
BN、dropout的几个问题和思考
1、BN的scale初始化scale一般初始化为1.0。联想到权重初始化时,使用relu激活函数时若采用随机正太分布初始化权重的公式是sqrt(2.0/Nin),其中Nin是输入节点数。即比一般的方法大了2的平方根(原因是relu之后一半的数据变成了0,所以应乘以根号2)。那么relu前的BN,是否将scale初始化为根号2也会加速训练?这里主要有个疑点:BN的其中一个目的是统一各原创 2018-01-03 16:51:54 · 7117 阅读 · 0 评论 -
编码时稀疏性和有序性为什么重要
1、稀疏性的重要性,暂时只理解到以下几点:1)稀疏性有利于突出重点2)人脑神经的激活是稀疏的3)稀疏性减少了信息量,有利于增加记忆量4)稀疏的特征更加线性可分5)计算量减小6)属于一种正则化,减少了过拟合(不限制的话,一个输入有无数种编码可能)2、特征排列有序指的是:相似的输入(图像等)应该激活相邻的神经元。重要性:1)如果输出特征虽然是稀疏的,却并不平滑,不利于学原创 2018-01-06 20:29:55 · 507 阅读 · 0 评论