[机器学习算法推导与总结] 逻辑回归

逻辑回归损失函数的来由

损失函数为，其中$h(x^{(i)})$是第i个样本标签为1的概率
$$J(\omega )=-\frac{1}{M}\sum _{i=1}^M[y^{(i)}log(h(x^{(i)}))+(1-y^{(i)})log(1-h(x^{(i)}))]$$　　
　　那么其实可以看出，损失函数就是对数似然函数的和。
　　在极大似然法中，使用对数似然函数作为目标函数来求参数，在逻辑回归中也是差不多，使用对数似然函数的和作为目标函数来求参数。
　　那么为什么要求“对数”呢？主要是在极大似然法中，为了计算求导方便。取对数可以把好几个概率的相乘变为几个概率的相加，和的导数比积的导数好求多了，而且求对数之后不改变极值点，所以习惯上都取对数。后来就把这个习惯延续到逻辑回归中了。

逻辑函数的来由

逻辑函数的形式如下，其中$x_j$是第j个样本的第j维：
$$h(x)=\frac{1}{1+e^{-\omega x}}$$
　　我们需要线性连续值${\omega }^{T}x$转化为离散值0和1。如果用下面这种简单粗暴的方法：
$$\begin{array}{r}f(x)=\{\begin{array}{l}1,if{\omega }^{T}x\ge 0\\ 0,if{\omega }^{T}x<0\end{array}\end{array}$$
　　上面这个函数不可导，对于求解参数来说太不友好了。因此才有了逻辑函数的形式。它近似于上面这个函数，又可以求导。但是逻辑函数得到的值还不是离散值0和1，而是样本为１的概率。那么逻辑函数的形式是怎么把线性连续值${\omega }^{T}x$转化为概率呢？
$$\begin{array}{r}P=P(y=1|x)=\frac{1}{1+e^{-\omega x}}=\frac{e^{\omega x}}{e^{\omega x}+1}\end{array}$$
　　化简为：
$$\begin{array}{r}P(e^{\omega x}+1)=e^{\omega x}\\ P=e^{\omega x}(1-P)\\ \frac{P}{1-P}=e^{\omega x}\\ ln\frac{P}{1-P}=\omega x\end{array}$$　　
　　所以，其实逻辑函数令${\omega }^{T}x$等于样本为1的几率的对数，即$ln\frac{P}{1-P}$，然后由此对数解出样本为1的概率$P$，求解的公式即为逻辑函数。

梯度下降求解

$J(\omega )$对${\omega }_j$求导得：
$$\begin{array}{rl}\frac{dJ(\omega )}{d{\omega }_j}& =-\frac{1}{M}\sum _{i=1}^M[\frac{y^{(i)}(1-h(x^{(i)}))\cdot h(x^{(i)})\cdot x_j^{(i)}}{h(x^{(i)})}-\frac{(1-h(x^{(i)}))\cdot h(x^{(i)})\cdot x_j^{(i)}}{1-h(x^{(i)})}+\frac{y^{(i)}(1-h(x^{(i)}))\cdot h(x^{(i)})\cdot x_j^{(i)}}{1-h(x^{(i)})}]\\ & =-\frac{1}{M}\sum _{i=1}^M[(y^{(i)}-h(x^{(i)}))x_j^{(i)}]\end{array}$$

补充：逻辑函数求导公式

对于逻辑函数，其中$x_j$是第j个样本的第j维：
$$h(x)=\frac{1}{1+e^{-\omega x}}$$
　　对${\omega }_j$求导得：
$$\begin{array}{rl}\frac{dh(x)}{d{\omega }_j}& =-1\cdot \frac{1}{(1+e^{-\omega x}{)}^2}\cdot e^{-\omega x}\cdot (-x_j)\\ & =\frac{-\omega x}{1+e^{-\omega x}}\cdot \frac{1}{1+e^{-\omega x}}\cdot x_j\\ & =(1-h(x))\cdot h(x)\cdot x_j\end{array}$$