- 博客(7)
- 收藏
- 关注
RSS订阅
1原创 理解函数间隔与几何间隔
如上图所示，输入\(x\)为\(x^{(1)}\)和\(x^{(2)}\)二维空间上的点。输入与输出共同构成三维空间的函数的曲面（在这里为一个与y轴相交于b点的倾斜平面），例如\(x_2\)在这个平面上对应的点可记作\(x{_2}\)'(\(x{^{(1)}_2},x{^{(2)}_2},y_2\))。以\(x_2\)为例，\(\hat{\gamma}_2\)为函数间隔，\(\gamma_2\)为几何间隔。\(\gamma_2\)不变，\(\hat{\gamma}_2\)则会随\(\omega\)的
2023-01-28 19:24:29
336
原创 编码时稀疏性和有序性为什么重要
1、稀疏性的重要性，暂时只理解到以下几点：1）稀疏性有利于突出重点2）人脑神经的激活是稀疏的3）稀疏性减少了信息量，有利于增加记忆量4）稀疏的特征更加线性可分5）计算量减小6）属于一种正则化，减少了过拟合（不限制的话，一个输入有无数种编码可能）2、特征排列有序指的是：相似的输入（图像等）应该激活相邻的神经元。重要性：1）如果输出特征虽然是稀疏的，却并不平滑，不利于学
2018-01-06 20:29:55
489
原创 BN、dropout的几个问题和思考
1、BN的scale初始化scale一般初始化为1.0。联想到权重初始化时，使用relu激活函数时若采用随机正太分布初始化权重的公式是sqrt(2.0/Nin)，其中Nin是输入节点数。即比一般的方法大了2的平方根（原因是relu之后一半的数据变成了0，所以应乘以根号2）。那么relu前的BN，是否将scale初始化为根号2也会加速训练？这里主要有个疑点：BN的其中一个目的是统一各
2018-01-03 16:51:54
7094
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人