损失函数

线性回归中的损失函数

用损失函数来度量预测系统的错误程度

线性回归模型

$$h_\theta(x)=\theta_0+\theta_1x$$

损失函数选用平方损失函数(线性回归的损失函数)

$$L(Y,h(X))=(Y-h(X))^2$$

经验损失函数：

$$R_{exp}(h)=\frac{1}{m}\sum^m_{i=1}L(y_i,h(x_i))$$

实例：

已拥有如下点集（1，1），（2，2），（3，3）
为了简单选取模型$h_\theta(x)=\theta x$进行拟合,则关于$\theta$的经验损失函数$J(\theta)$表示为：

$$J(\theta)=\frac{1}{m}\sum_{i=1}^m(y_{i}-h(x_{i}))^2$$
将 $h(x)=\theta x$与已知点集带入经验损失函数：
$$\begin{align} J(\theta) &=\frac{1}{3}[(1-\theta)^2+(2-2\theta)^2+(3-3\theta)^2] \\\ &=\frac{14}{3}(\theta-1)^2 \end{align} \qquad$$
由化简式轻易可得当 $\theta=1$时，经验损失函数最小， $minJ(\theta)=0$，带入得最到函数 $h(x)=x$

实例拓展：

已然是线性回归，模型$h_\theta(x)=\theta_0+\theta_1x$
参数有两个：$\theta_0,\theta_1$
损失函数：$J(\theta_0, \theta_1)=\frac{1}{2m}\sum_{i=1}^m(h_\theta(x_i)-y_i)^2$
目标：$minJ(\theta_0,\theta_1)$