吴恩达《Machine Learning》-cost function损失函数（二）

问题：如何选择参数θi？

m代表样本数量
θ表示 参数 机器学习主要就是学习函数中的参数
比如一次函数 不同的参数 会产生不同的函数

目的：

找到一组θ0，θ1参数使 图中函数的线 尽可能多的拟合到更多的数据点。故也就是使图中线上的函数值hθ(x) 与 数据点的值 y 之间的距离最小。

为了防止hθ(x) - y 产生的正负值相加问题。采用平方差，都转换为正数。之后将m个样本的差值求和，除以2m个样本数 计算均值。（除以m算均值也差不多）

损失函数为平方误差函数( “Squared error function”, or “Mean squared error”)：

还有其他类型的损失函数，平方误差函数为其中之一。平方误差函数更适合于回归问题中。

其中 hθ(x)为我们预测的函数

问题：为何要1/2m 计算均值的一半 不是1/m直接算均值

因为乘1/2对于之后计算梯度下降更方便。
1/2将会抵消平方函数求导后的平方项。
举例:x^求导 =2x
故前面乘1/2后，变为=1/2x^=1/22x=x （完美抵消了平方项）

举例：

J（θ1）当 θ1=0 时，J（1）=0

J（θ1）当 θ1=0.5 时，J（0.5）=0.58 （样本点和hθ(x)线的y轴方向距离的平方和）

目标：

线段尽可能匹配上数据集的所有点
转化为：找一个最小化J（θ1）最小时的θ1值，故θ1=1为最佳点

举例：

当拥有两个参数的情况(θ0,θ1)

损失函数J（θ0,θ1）作图如下

如何描述弓形曲面

用等高线图 描述弓形曲面。同一个圆圈（等高线）上的每个点的J（θ0,θ1）值相同

如图：非中心点对数据拟合弱

如图：中心点对数据拟合强