- 博客(2)
- 收藏
- 关注
RSS订阅原创 深度学习权重初始化
权重初始化 权重的初始化如果权重一开始很小，信号到达最后也会很小；如果权重一开始很大，信号到达最后也会很大。不合适的权重初始化会使得隐藏层的输入的方差过大,从而在经过激活函数这种非线性层时离中心较远(导数接近0),因此过早地出现梯度消失.如使用均值0,标准差为1的正态分布初始化在隐藏层的方差仍会很大. 不初始化为0的原因是若初始化为0,所有的神经元节点开始做的都是同样的计算,最终同...
2018-06-29 11:12:13
1035
转载 SimHash算法原理（汉明距离）
解释一下图片：这里feature可以指一篇文档分词后的某个词，即将文档中的某个词作为一个特征。weight是这个词的权重，这里可以是这个词在这个句子中出现的次数。这里的hash算法就是传统的hash算法，通过调用一个hash函数实现的。simhash是为了计算一篇文档之间的相似度存在的，通过simhash算法可以计算出文档的simhash值，通过各个文档计算出的二进制值来计算文档之间的汉明距离，然...
2018-05-21 14:12:09
4045
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人