Logistic Regression 参数更新公式推导

逻辑回归（Logistic Regression）是一种用于解决二分类（0 | 1）问题的机器学习方法，用于估计某事件发生的可能性。比如某用户购买某商品的可能性，某病人患有某种疾病的可能性，以及某广告被用户点击的可能性等。

那么逻辑回归与线性回归是什么关系呢？

逻辑回归与线性回归都是一种广义线性模型。逻辑回归假设因变量 y 服从伯努利分布，而线性回归假设因变量 y 服从高斯分布。 因此与线性回归有很多相同之处，去除Sigmoid映射函数的话，逻辑回归算法就是一个线性回归。可以说，逻辑回归是以线性回归为理论支持的，但是逻辑回归通过Sigmoid函数引入了非线性因素，因此可以轻松处理0/1分类问题。

下面我将给Logistic Regression的参数更新公式进行一个详细的推导。

首先引入Sigmoid函数，也称为逻辑函数（Logistic function），表达式为：

其函数图像如下：

在逻辑回归中，我们记：

在逻辑回归中，我们利用Sigmoid函数将线性回归中的结果θ’X映射到(0,1)区间上并认为该结果代表了当前样本的预测结果取1的概率，即有：

考虑当前样本（x是一个向量）
可将上式写成一个更为紧凑的形式：

这个式子即为当前样本分类结果的概率分布列。

为了找到最可能导致上述概率分布成立的θ值，我们需要利用极大似然估计。

极大似然估计，通俗理解来说，就是利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值。

首先求极大似然函数。对于这m个样本，我们可以得到极大似然函数为：

对其两边取ln，得：

一般情况下，θ的值取使得极大似然函数取极大值时θ的值。

在逻辑回归中，我们将上式引入因子-1/m，转化为求下式的极小值：

我们将该式定义为逻辑回归中的损失函数，称之为交叉熵损失函数，而能够使得该式取极小值的θ就是我们最终需要的参数。

类似于线性回归，我们采用梯度下降法不断更新θ，最终逼近J(θ)的极小值。

在J(θ)中对θ的各个分量求偏导：

更新θ的公式为：

反复更新θ并且求损失函数值，直到损失函数值小于某个设定的阈值或者迭代次数达到一定阈值停止循环，此时得到的θ即为所求。利用这个θ我们就可以预测新样本的分类结果。