机器学习（回归、梯度下降、最小二乘法）

回归

回归在数学上来说是给定一个点集，能够用一条曲线去拟合之，如果这个曲线是一条直线，那就被称为线性回归，如果曲线是一条二次曲线，就被称为二次回归。

梯度下降

梯度下降是通过求偏倒数，算出算出局部最优解，然后按照一定的步长一步一步达到最优解。

最小二乘法

最小二乘法则是通过对误差的平方和求导直接得出最优解。

对于线性回归，最小二乘法可以求出得x=(A^T A)^{-1}A^T*b，而对于非线性的则无法得到。

梯度下降是迭代法的一种，它可以计算线性和非线性的最小二乘的问题。但是梯度下降要设置一定的步长，步长太小，计算的次数过多，而步长太大则无法到达最优解。

关于公式

估计函数

错误函数

对错误函数求偏微分

梯度下降算法

梯度下降法：
1）首先对θ赋值，这个值可以是随机的，也可以让θ是一个全零的向量。
2）改变θ的值，使得J(θ)按梯度下降的方向进行减少， α是调节步长的参数。