关于深度学习向量初始化的简单想法

深度学习分类问题上，在其他条件一样的情况，对不同的词、权重使用均匀分布和高斯分布初始化，得到一些初步实验结果：

1、初步值的选择对最终结果有巨大影响

2、对于各种分布的方差的选择可以参考1/sqrt(m)，m可以简单理解隐藏层个数

3、其实上面只是原则性一些方案，例如隐藏层节点个数=100，那么选择高斯分布的sigma=0.1，在实际实验中，词向量取的比这略大一些效果更好例如0.2，其他矩阵的初始化向量要稍微大一点例如0.8，收敛速度也较快，正确率也比0.1较高

参考文献：<神经网络与机器学习第三版>4.6节；

http://deeplearning.stanford.edu/wiki/index.php/Main_Page；