结合之前的学习经验,现在总结一下项目中线性回归会使用到的各类算法:
Adam算法:Adam 算法和传统的随机梯度下降不同。随机梯度下降保持单一的学习率(即 alpha)更新所有的权重,学习率在训练过程中并不会改变。而 Adam 通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。也就是说在更新权重时,Adam算法会根据数据特点利用概率分布更新学习率。
激活函数Softplus&Rectifier:
Softplus(x)=log(1+e^x)
结合之前的学习经验,现在总结一下项目中线性回归会使用到的各类算法:
Adam算法:Adam 算法和传统的随机梯度下降不同。随机梯度下降保持单一的学习率(即 alpha)更新所有的权重,学习率在训练过程中并不会改变。而 Adam 通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。也就是说在更新权重时,Adam算法会根据数据特点利用概率分布更新学习率。
激活函数Softplus&Rectifier:
Softplus(x)=log(1+e^x)