Logistic Regression中的数学推导

首先，Logistic Regression中的代价函数为：

特别说明：(下面的所有出现的 log都是以e为底数，所以也可以看做是 ln)

接着给出合并后的Cost函数：

将y=1和y=0分别代入Cost中进行检验，会发现这个合并后的式子和上面的分段函数是等效的。

所以代价函数J(θ)如下：

实际上这里的Cost函数和J(θ)是由最大似然估计推出的，下面给出详细推导过程：

因为Cost函数的定义如下：

而且随机变量y满足关系：

则y~B（1，p），而 预测的是y=1时的概率，故 ，所以其分布律为：，y = 0，1

则似然函数为：

对数似然函数为：

因为最大似然估计法是对已知样本的观察值x1,x2,···,xn,在θ的可能取值范围Θ内挑选使似然函数L(θ)=L(x1,x2,···，xn;θ)达到最大的参数值 ,而在logistic回归中我们要找到使代价函数最小的参数值θ，所以乘以一个负的系数-1/m，则代价函数如下：

梯度下降法求偏导的推导：

梯度下降法中θ的更新过程为：(α是学习速率)

 

logistic regression中的假设函数为：

 

所以梯度下降的更新公式为：