代价函数（一）（二）

在回归算法中用字母表示特定的意义：
m = 训练样本的数量。
x = 输入变量（特征）
y = 输出变量
（x，y） = 一个训练样本
（x^（i），y^（i））= 第i个训练样本

 

本节假定theta_0 = 0以解释代价函数的作用
对给定的theta_1，h(x)是对x的函数
J(theta_1)是关于参数的函数
最小化J使得theta_1能够使hx预测值更加准确

 

这里可以看到我们把左边的假设函数简化使得θ0的值为0，这样可以简单的去解释J（θ1）只关于一个变量θ1的函数关系。

这里我们给定三个函数值（1，1）（2，2）（3，3），分别让θ1等于1，0.5，0等等一系列的数，从而得出J（θ1）的函数关系图。从右边的图像中可以看到最小的J（θ1）的值是当θ1等于1的时候的函数值0.这也是最接近实际值的假设函数的θ1的值。

代价函数（二）

先回顾一下之前学习的几个概念：假设函数、参数、代价函数、目标函数。如下：

 

这里我们不再让θ0的为0，从而我们有两个变量值即θ1和θ0，代价函数为J(θ0,θ1)

上一节只有一个参数θ1，我们得到的代价函数是一个碗状的二次函数图像，这里我们的参数有两个J（θ0，θ1），我们得到的假设函数也是一个碗状的图像。不过是三维的，我们也可以用等高线来描述。

（等高线：对于函数J(theta1,theta2)，同一条等高线上的代价函数J的值相等。）

                                 3D描述

  看上图的右边的3个红叉，他们表示的代价函数的值相同。让我们再看看分别几个不同的（θ0，θ1）所得到的J的图像

可以看到我们得到的几个代价函数J（θ0，θ1）的值距离中心的距离有近有远，最后一组得到的距离中心最近即我们最小代价函数。

 

学习算法的优化目标是通过选择sita1的值，获得最小的J（sita1）的值，这就是线性回归的目标函数

逐渐靠近中心，最后只有一个点，这个时候损失值是最小的，也就是这个时候theta是最优的