结合之前的学习经验，现在总结一下项目中线性回归会使用到的各类算法：
Adam算法：Adam 算法和传统的随机梯度下降不同。随机梯度下降保持单一的学习率（即 alpha）更新所有的权重，学习率在训练过程中并不会改变。而 Adam 通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。也就是说在更新权重时，Adam算法会根据数据特点利用概率分布更新学习率。
激活函数Softplus&Rectifier:
Softplus(x)=log(1+e^x)
1172
评论 1
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
