二、机器学习模型和代价函数

1、监督学习模型描述

\qquad 为了构建模型，首先引入一系列符号进行表示：$x^{(i)}$表示第i个输入变量，也叫输入特征；$y^{(i)}$表示第i个输出变量，也叫目标变量；一个$(x^{(i)},y^{(i)})$对称为一个训练样本，全部的训练样本集合$(x^{(i)},y^{(i)}),i=1,...,m$被称为一个训练集。我们同样会使用$X$表示输入变量空间，$Y$表示输出变量空间。
\qquad 有了上述符号，我们就可以更正式地定义监督学习模型：在给定一个训练集之后，我们的目标是学习一个函数$h(x):X\to Y$，使得$h(x)$是对变量$y$的一个好的预测，这个函数$h(x)$叫做hypothesis。所以监督学习的流程可以概述为下图：

\qquad 若目标变量是连续的，如房价预测问题，则我们称这个问题是回归问题；若目标变量取值是一系列离散的数，则我们称这个问题是聚类问题。

2、代价函数

\qquad 为了衡量hypothesis函数$h(x)$的精度，引入了代价函数。对于线性回归问题，代价函数通常采用均方误差(square error function / mean square function)的形式，如下所示：
$$J({\theta }_0,{\theta }_1)=\frac{1}{2m}\sum _{i=1}^m(h(x^i)-y^i{)}^2$$ \qquad 其中，$h(x^i)$表示函数的预测值，$y^i$表示函数的真实值。其中，添加一个$\frac{1}{2}$项的原因在于为了后续梯度下降处理方便。

\qquad 假如将线性函数中的${\theta }_0$项进行取消，只针对${\theta }_1$参数进行学习，给定的训练集为(1,1)，(2,2)，(3,3)，则如下图所示，在最小化代价函数目标值之下，参数${\theta }_1$的最优取值为1。

\qquad 当有两个参数需要进行学习时，不能像上述一样通过二维平面图来表示代价函数值和参数的关系，代价函数值是关于参数${\theta }_0$和${\theta }_1$的三维图像，但是可以通过二维等高线图来描述哪些${\theta }_0$和${\theta }_1$取值下，函数值是相等的。

THE END