qq_33239096的博客

转载 机器学习-梯度下降

深度学习必备：随机梯度下降（SGD）优化算法及可视化 补充在前：实际上在我使用LSTM为流量基线建模时候，发现有效的激活函数是elu、relu、linear、prelu、leaky_relu、softplus，对应的梯度算法是adam、mom、rmsprop、sgd，效果最好的组合是：prelu+rmsprop。我的代码如下：# Simple example using rec...