首先,Logistic Regression中的代价函数为:
特别说明:(下面的所有出现的 log都是以e为底数,所以也可以看做是 ln)
接着给出合并后的Cost函数:
将y=1和y=0分别代入Cost中进行检验,会发现这个合并后的式子和上面的分段函数是等效的。
所以代价函数J(θ)如下:
实际上这里的Cost函数和J(θ)是由最大似然估计推出的,下面给出详细推导过程:
因为Cost函数的定义如下:
而且随机变量y满足关系:
则y~B(1,p),而 预测的是y=1时的概率,故
,所以其分布律为:
,y = 0,1
则似然函数为:
对数似然函数为:
因为最大似然估计法是对已知样本的观察值x1,x2,···,xn,在θ的可能取值范围Θ内挑选使似然函数L(θ)=L(x1,x2,···,xn;θ)达到最大的参数值 ,而在logistic回归中我们要找到使代价函数最小的参数值θ,所以乘以一个负的系数-1/m,则代价函数如下:
梯度下降法求偏导的推导:
梯度下降法中θ的更新过程为:(α是学习速率)
logistic regression中的假设函数为:
所以梯度下降的更新公式为: