机器学习入门~代价函数

代价函数

寻找代价函数即寻找合适的θ0和θ1👇。

取值不同的θ0和θ1👇

选择θ0和θ1的思想：所选的θ0和θ1使假设函数h取x时的取值h(x)与训练集中x所对应的y的差值尽量小。

即：

m指的是训练集的样本容量。

J(θ0,θ1) = 1/2m (m)Σ(i=1) (hθ(x⁽ⁱ⁾)-y⁽ⁱ⁾)²，目标是使函数J(θ0,θ1)尽可能的小。
这种代价函数也被成为平方误差函数，或平方误差代价函数。求出平方误差函数的原因是，对于大多数问题，尤其是回归问题，平方误差函数都是一个合理的选择，是解决回归问题最常用的手段。

使用代价函数的例子

👇计算J(θ1)函数（此处将θ0取0，故J(θ0,θ1) = θ0+θ1·x <=> J(θ1) = θ1·x ）。
计算J(θ1)的方法：取θ1为任意值，计算该取值下J(θ1)的值并将（θ1,J(θ1)）画在图上，直到所绘点足够多，可以绘成一条曲线。每一个θ1都对应着一个假设函数。

👆当θ1 = 1时，代价函数的取值最小，正是学习算法的优化目标，故θ1 = 1时所得的函数即我们想要的假设函数。

代价函数的作用

👆当只有一个参数θ1时，对应的J函数是一个类似于二次函数的函数（平面碗装），而当加入θ0这个参数时，J(θ0,θ1)函数变成了一个立体的碗装函数。👇

👆使用3D图像表示J函数。
👇使用等高线表示J函数。

👆每一个椭圆线表示一系列使J(θ0,θ1)值相等的点。