[ML笔记]模型表示与代价函数

引导

线性回归属于监督学习，因此方法和监督学习应该是一样的，先给定一个训练集，根据这个训练集学习出一个线性函数，然后测试这个函数训练的好不好（即此函数是否足够拟合训练集数据），挑选出最好的最好那个训练函数（代价函数）即可。

模型表示

表示	含义
$x^{(i)}$	输入变量
$y^{(i)}$	输出变量
($x^{(i)}, y^{(i)}$)	一个训练实例
($x^{(i)}, y^{(i)};i=1,.....m$	一个训练集
m	训练集个数

假设函数(hypothesis)指从训练集得到一个较好的预测x->y的函数。

单变量线性回归

单变量线性回归是指只有一个变量x。线性回归的函数为线性函数，即直线函数；
单变量线性回归模型
$h_θ(x)=θ_0+θ_1x$
我们将$x$称为feature，$h_θ(x)$称为hypothesis,假设函数。

代价函数

通过代价函数，我们可以计算得到最优解的hypothesis函数。
代价函数公式
J($θ_0,θ_1) =\frac{1}{2m}\sum_1^m(Ｙ_i-y_i)^2=\frac{1}{2m}\sum_1^m(h_θ(x_i)-y_i)^2$
h(x)即为假设函数，y假设为真实函数，m为训练集个数

每个训练集与输出变量的差方的和越趋近于0，则假设函数和真实函数越相近。因此代价函数的最优解在于计算代价函数最小值。

先从简单的来看，假设hypothesis函数为：
$h_θ(x)=θ_1x$
函数图为：

图中红色的X代表样本真实数据

假设$θ_1=1$，我们通过代价函数公式，可以计算得出：
$\frac{1}{2*3}*((1-1)^2+(2-2)^2+(3-3)^2)=0$
假设$θ_1=0.5$，我们通过代价函数公式，可以计算得出：
$\frac{1}{2*3}*((1-0.5)^2+(2-1)^2+(3-1.5)^2)≈0.58$
假设$θ_1=0$，则可以计算得出：
$\frac{1}{2*3}*((1-0)^2+(2-0)^2+(3-0)^2)≈2.33$
。。。。。

根据数据集，我们可以基本绘制出代价函数图形如下：

因此，代价函数在$θ_1=1$的时候是最优解（最小值）。

代价函数进阶

如果参数更为复杂时 ，比如$θ_0，θ_1$时，轮廓图就是一个三维图像，轮廓图可能如下，我们还是可以找到代价函数的最小值。

轮廓图如果用二维图表示，则如下图中右图所示，在一条等高线上$J(θ_0，θ_1)$相同。

声明

图侵删。