机器学习2--一次函数拟合的数学过程

参数引入(监督学习)

Hypothesis是假设函数，假设该函数的两个参数:y = θ1x + θ0,θ1是权重，θ0是偏置;取不同的参数会得到不同的函数图像。
由于是初学者，所以吴老师从最简单的一次函数模型开始介绍，后面我们入门后，难度应该会得到提高，逐渐到高次函数。

目的是选择合适的参数θ1x和θ0使得h(x)的值接近我们的训练样本的标签值。即尽量使h(x)与样本标签值y的差异小。注意，用(xi,yi)代表第i组样本。

代价函数

概念方面不再详述，我们要知道代价函数的样子，不仅与训练集的有关，而且与参与优化过程的参数以及个数有关系，还与我们所选的模型有关系。

训练模型目的:找到能使这个损失函数的值达到最小的时候所对应的θ1和θ0的值。θ1是权重，θ0是偏置。
我们把这种函数称之为代价函数(cost function)，当然他只是其中的一种，它的真正名字叫做均方差函数。
这里采用平方误差代价函数作为损失函数，因为它是解决回归问题的最常用的手段。

这是一个流程图。我们将其简化，这里我们把偏置值设为0，因为偏置值不会影权重值的变化情况。这样有助于简化计算。

单个参数优化拟合过程(θ0 = 0的情况下)

下图是参数拟合优化的过程

假设我们的数据集中只有三个样本，为了简化计算，我们将偏置值设为0，之后我们不断改变θ1的值，并求出对应的J值，重复若干次后，在J函数图上我们能得到当J取最小值的时候对应的θ1的值，这就是拟合效果最好的值。

容易得出，θ1与J()值的函数是一个碗装的图形，一眼就能看出损失函数最小值的坐标。

这里再次贴上均方差损失函数的公式，注意是代入所有样本值后求均值。

两个参数情况下的优化过程(θ1与θ0都参与优化过程)

这次优化，我们要保留θ1与θ0这两个参数。我们知道
Z = X^2 + Y ^2这个函数的图像是一个碗面，类似于这样
但是为了更好的展示效果，我们不会使用三维曲面，我们要用等高线图来展现损失函数J。

这里我自己理解为，把上面的立体图投影到底面上，得到一个个椭圆形，每个椭圆上任意一点的J(θ1,θ0)的值都相同。（类比上面的Z = X^2 + Y ^2这个函数,意思是Z值相同）。
左侧的h(x)图像就是蓝色圈圈点的坐标值代入一次模型中的得到的函数。
我们发现拟合效果并不理想。接下来我们把点取得靠近中心一点，即很靠近Jmin的点。

发现拟合效果明显好了很多。
我们可以得出结论，点所在的椭圆越小，一阶模型的拟合效果越好，即代价函数值越小，我们得到的拟合函数越接近真实函数。