初学机器学习简单回归心得

作为一个刚刚接触机器学习的小白，最近看了些Andrew Ng课中回归的知识，写一写自己的一些心得。

分析一个简单的小例子

回归的目的是为了使预测的函数能够更好的拟合我们给定的数据。我们先假设只在二维平面中，用一条直线去拟和一条曲线。
假设我们需要用一条直线：
hθ（X）= θ0 + θ1X1 ①
去拟合一条抛物线
Y = X^2 ②
假设现在我们取抛物线上的10个点作为我们的训练集：
（ 1，1）、（2，4）、（3，9）、（4，16）、（5，25）、（6，36）、（7，49）、（8，64）、（9，81）、（10，100）
既然目的是为了使预测的函数与实际的数据的拟合最好，我们只需要尽量做到使他们的误差和最小即可。于是，我们可以用到最小二乘法来达到我们的目的。
误差项：E0 = （hθ（X）- Y）^2 ③
m个误差项的平均：E = 1/（2*m）Σ（hθ（X）- Y）^2 ④
（多除了一个2是为了使得之后的计算简便，对结果并没有什么影响）
现在我们只要使得函数
J（θ）= E = 1/（2*m）Σ（hθ（X）- Y）^2 ⑤
能够趋向最小值即可
问题转化到函数的J（θ）的分析，函数J（θ）含有两个参数θ0和θ1，从④式中可以看出θ0和θ1都是平方级别的，如果我们分别以θ0，θ1，J（θ）为X，Y，Z轴构建一个空间坐标系，他们构成的图形应当为一个曲面，这个曲面应当长这