- 博客(6)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 神经网络的一些超参数重要度排序
超参数重要度：1，学习率lr2，动量参数beta（一般为0.9），batchsize大小，隐藏层神经单元个数3，学习率衰减，隐藏层的层数4，如果使用的是adam优化，则就是其参数beta1,beta2,epsilon...
2018-07-20 10:27:24
3241
原创 带有动量的梯度下降的优势
普通的梯度下降算法在寻找最优解的过程中会酱紫：可以看到是存在不断抖动的使用了带动量的梯度下降，由于梯度的计算使用了指数加权平均方法，使得本次梯度的计算和之前是有关联的，这样就能抵消比如梯度在上下摆动的这种状况，而真正的下降方向（朝右边走）却能很好保持，这样使得收敛优化变得更快...
2018-07-13 14:13:23
2805
原创 关于深度学习中训练集，验证集，测试集那些事
1，划分比例：对于小型数据集，train,validate,test划分一般为：60%,20%,20%对于大型数据集，一般验证集和测试集没必要太多，因为只要满足其作用就行，一般不到20%甚至不到10%2，确保验证集和测试集分布相同，这样方便模型评估3，只有验证集而没有测试集容易出现过拟合现象...
2018-07-11 09:58:28
5862
2原创 Tanh激活函数比Sigmoid优点在哪
Sigmoid函数：Tanh函数：优势：Tanh函数是0均值的更加有利于提高训练效率，由于Sigmoid输出是在0-1之间，总是正数，在训练过程中参数的梯度值为同一符号，这样更新的时候容易出现zigzag现象，不容易到达最优值。具体推导详见知乎：https://www.zhihu.com/question/50396271?from=profile_question_card...
2018-07-07 11:50:27
13677
【真64位】msvcp120d.dll和msvcr120d.dll
2017-06-03
跪求大神解决一个 IIS的问题
2016-03-30
TA创建的收藏夹 TA关注的收藏夹
TA关注的人