假设函数:
损失函数:
正规方程求:(Normal Equation无需迭代,无需选取值;但是不适合特征数量n > 10000的情况,求逆时间复杂度O())
梯度下降迭代更新:(其中j = 0,1,2......n)
{
}
梯度下降的矩阵方式:(X为m*(n+1)矩阵,Y为m*1维输出向量)
还有些高级优化算法求,共轭梯度(PCG),BFGS,L-BFGS等,无需手动选取值,而且收敛速度快。
假设函数:
损失函数:
正规方程求:(Normal Equation无需迭代,无需选取值;但是不适合特征数量n > 10000的情况,求逆时间复杂度O())
梯度下降迭代更新:(其中j = 0,1,2......n)
{
}
梯度下降的矩阵方式:(X为m*(n+1)矩阵,Y为m*1维输出向量)
还有些高级优化算法求,共轭梯度(PCG),BFGS,L-BFGS等,无需手动选取值,而且收敛速度快。