跟刘建平博客学机器学习

2016年10月

1. 梯度下降（Gradient Descent）小结

对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。沿着梯度向量的方向就是f(x,y)增加最快的地方，容易找到函数的最大值。反过来说，沿着梯度向量相反的方向，梯度减少最快，也就是更加容易找到函数的最小值。

2. 最小二乘法小结

最小二乘法的形式为：$目标函数=\sum(难测值-理论值)^2$

3.线性回归总结

梯度下降法算线性回归：$\theta=\theta-\alpha\mathtt{X}^T(\mathtt{X}\theta-\mathtt{Y})$

最小二乘法算线性回归：$\theta=(\mathtt{X^TX})^{-1}\mathtt{X^TY}$

p.其他浏览

2016年11月

转载于:https://www.cnblogs.com/guesswhy/p/11283543.html