深度学习分类问题上,在其他条件一样的情况,对不同的词、权重使用均匀分布和高斯分布初始化,得到一些初步实验结果:
1、初步值的选择对最终结果有巨大影响
2、对于各种分布的方差的选择可以参考1/sqrt(m),m可以简单理解隐藏层个数
3、其实上面只是原则性一些方案,例如隐藏层节点个数=100,那么选择高斯分布的sigma=0.1,在实际实验中,词向量取的比这略大一些效果更好例如0.2,其他矩阵的初始化向量要稍微大一点例如0.8,收敛速度也较快,正确率也比0.1较高
参考文献:<神经网络与机器学习第三版>4.6节;
http://deeplearning.stanford.edu/wiki/index.php/Main_Page;