1.假设函数:即假设模型,比如线性函数
2.代价函数:最小化函数
3.梯度下降:分2部分,学习率和导数。当趋近局部最优时,导数值逐渐下降,如果学习率不变,梯度下降步长也逐渐减小
4.凸函数:局部最优,即是全局最优。如线性回归的代价函数就是凸函数
5.Batch Gradient descend:梯度下降过程,即迭代更新参数过程中,每一步迭代使用所有的训练集数据
线性回归模型及梯度下降求解算法原理
1.假设函数:即假设模型,比如线性函数
2.代价函数:最小化函数
3.梯度下降:分2部分,学习率和导数。当趋近局部最优时,导数值逐渐下降,如果学习率不变,梯度下降步长也逐渐减小
4.凸函数:局部最优,即是全局最优。如线性回归的代价函数就是凸函数
5.Batch Gradient descend:梯度下降过程,即迭代更新参数过程中,每一步迭代使用所有的训练集数据
线性回归模型及梯度下降求解算法原理