机器学习之——判定边界和逻辑回归模型的代价函数

判定边界(Decision Boundary)

上一次我们讨论了一个新的模型——逻辑回归模型(Logistic Regression),在逻辑回归中,我们预测:

  • 当hø大于等于0.5时,预测y=1
  • 当hø小于0.5时,预测y=0
根据上面的预测,我们绘制出一条S形函数,如下:


根据函数图像,我们知道,当

  •  z=0时,g(z)=0.5
  •  z>0时,g(z)>0.5
  •  z<0时,g(z)<0.5
又有:


所以


以上,为我们预知的逻辑回归的部分内容。好,现在假设我们有一个模型: 并且参数ø是向量 :[-3 1 1]。那么当-3+x1+x2大于等于0,即x1+x2大于等于3时,模型将预测 y=1。

我们可以绘制出来x1+x2=3,这条线便是我们模型的分界线,也称之为判定边界(Decision Boundary),将预测为1的区域和预测为0的区域分隔开。


假设我们的数据呈现出如下图的分布情况,那么我们的模型是什么样才能适合这些数据呢?


如上图,函数图像为一个圆,圆点在原点且半径为1,这样一条曲线来分隔开了 y=1 和 y=0 的区域,所以我们需要的是一个二次方特征:


假设参数为 [-1  0  0  1  1],则我们得到的判定边界恰好是圆点在原点并且半径为1的圆形。

我们可以使用非常复杂的模型来适应非常复杂形状的判定边界。


逻辑回归模型的代价函数(Cost Function)

对于线性回归模型,我们定义的代价函数是所有模型误差的平方和。理论上讲,我们也可以沿用这个定义来对逻辑回归模型使用,但是问题在于,当我们将:

代入到这样定义的代价函数中时,我们得到的代价函数将会是一个非凸函数(Non-covex Function)


这意味着,我们的代价函数将会有许多的局部最小值,这就会影响到梯度下降算法去找寻全局最小值。

因此,我们重新定义逻辑回归的代价函数为:


其中,Cost(hø(x(i), y(i))) 是我们定义的一个代价函数迭代形式,具体表示如下:


hø(x) 与 Cost(hø(x),y)之间的关系是如下图所示:


通过这样构建的Cost(hø(x), y)函数的特点是:

当实际的 y=1 且 hø=1 时,误差为0;当  y=1 但 hø != 1时,误差随hø的变小而变大;

当实际的 y=0 且 hø=0 时,误差代价为0;当 y=0 但 hø != 0 时,误差随hø的变大而变大。

将构建的Cost(hø(x), y) 进行一个简化,可以得到如下简化公式:


这个简化其实是对上面Cost(hø(x), y) 的两种表达式的一次性结合。

将简化代入到代价函数,得到:


这便是逻辑回归模型的代价函数了。

在得到这样的一个代价函数之后,我们便可以使用梯度下降算法(Gradient Descent)来求得能够使代价函数最小的参数了。

梯度下降算法:


对此求导,得到:


*注:虽然得到的梯度下降算法,表面上看上去和线性回归的梯度下降算法一样,但是这里的hø(x) = g(øTX)与线性回归不同,所以实际上是不一样的。另外,在运行梯度下降算法之前,对特征进行特征缩放(Features Scaling)也是非常必要的。


一些梯度下降算法之外的选择:

除了梯度下降算法之外,还有一些常被用来使代价函数最小的算法,这些算法更加复杂和优秀,而且通常情况下,不需要人工选择学习速率,通常也比梯度下降算法更加快速。举一些例子:共轭梯度法(Conjugate Gradient)局部优化法(Broyden Fletcher Goldfarb Shann, BFGS)有限内存局部优化法(LBFGS)。这些算法更加复杂也更加优秀,如果感兴趣我们可以以后再继续讨论。

MatlabOctave中,有一个最小值优化函数,fminunc。使用时,我们需要提供代价函数和每个参数的求导,这里给大家举一个例子:

function [ jVal, gradient ] = costFunction( theta )
%COSTFUNCTION Summary of this function goes here
%   Detailed explanation goes here
    jVal = (theta(1)-5)^2 + (theta(2)-5)^2;
    gradient = zeros(2,1);
    gradient(1) = 2*(theta(1)-5);
    gradient(2) = 2*(theta(2)-5);

end

options = optimset('GradObj', 'on', 'MaxIter', '100');
initialTheta = zeros(2,1);
[optTheta, functionVal, exitFlag] = fminunc(@costFunction, initialTheta, options);

*PS :关于机器学习相关算法的 MatlabOctave代码,我上传到了我的coding.net项目中,有需要的童鞋可以联系我。

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页