- 博客(7)
- 收藏
- 关注
原创 理解函数间隔与几何间隔
如上图所示,输入\(x\)为\(x^{(1)}\)和\(x^{(2)}\)二维空间上的点。输入与输出共同构成三维空间的函数的曲面(在这里为一个与y轴相交于b点的倾斜平面),例如\(x_2\)在这个平面上对应的点可记作\(x{_2}\)'(\(x{^{(1)}_2},x{^{(2)}_2},y_2\))。以\(x_2\)为例,\(\hat{\gamma}_2\)为函数间隔,\(\gamma_2\)为几何间隔。\(\gamma_2\)不变,\(\hat{\gamma}_2\)则会随\(\omega\)的
2023-01-28 19:24:29 376
原创 编码时稀疏性和有序性为什么重要
1、稀疏性的重要性,暂时只理解到以下几点:1)稀疏性有利于突出重点2)人脑神经的激活是稀疏的3)稀疏性减少了信息量,有利于增加记忆量4)稀疏的特征更加线性可分5)计算量减小6)属于一种正则化,减少了过拟合(不限制的话,一个输入有无数种编码可能)2、特征排列有序指的是:相似的输入(图像等)应该激活相邻的神经元。重要性:1)如果输出特征虽然是稀疏的,却并不平滑,不利于学
2018-01-06 20:29:55 519
原创 BN、dropout的几个问题和思考
1、BN的scale初始化scale一般初始化为1.0。联想到权重初始化时,使用relu激活函数时若采用随机正太分布初始化权重的公式是sqrt(2.0/Nin),其中Nin是输入节点数。即比一般的方法大了2的平方根(原因是relu之后一半的数据变成了0,所以应乘以根号2)。那么relu前的BN,是否将scale初始化为根号2也会加速训练?这里主要有个疑点:BN的其中一个目的是统一各
2018-01-03 16:51:54 7137
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人