逻辑回归公式推导（Logistic Regression）

基本定义

逻辑回归通过拟合一条直线将不同类别的样本区分开来。对于二分类问题而言，给定一个训练样本集合(x,y)${}^m$，其中x$\in$$R^n$，y$\in${0,1}，目标是学习一条直线将两个类别的样本区分开来。逻辑回归通过学习一个假设函数h${}_{\theta }(\mathbf{x})$=g(${\theta }^T\mathbf{x}$)来预测样本属于类别1的概率，其中函数g为sigmoid函数(简称s函数)，计算如公式1所示：

$$\begin{array}{rl}g(z)& =\frac{1}{1+e^{-z}}\end{array}\text{\hspace{1em}(1)}$$

s函数具有很好的数学性质，其一阶导数可以由自己表示，计算如公式2所示。将s函数带入可以得到逻辑回归的分类函数，计算如公式3所示，对于一个样本$\mathbf{x}$，逻辑回归分类该样本属于类别$\hat{y}$=1和$\hat{y}$=0的概率分别如公式4和公式5所示：

$$\begin{array}{rl}{g}^{\prime }(z)& =g(z)(1-g(z))\end{array}\text{\hspace{1em}(2)}$$

$$\begin{array}{rl}{h}_{\theta }(\mathbf{x})=g({\theta }^T\mathbf{x})& =\frac{1}{1+e^{-{\theta }^T\mathbf{x}}}\end{array}\text{\hspace{1em}(3)}$$

$$\begin{array}{r}\hat{y}=P(y=1|\mathbf{x};\theta )=h_{\theta }(\mathbf{x})=g({\theta }^T\mathbf{x})\end{array}\text{\hspace{1em}(4)}$$

$$\begin{array}{r}\hat{y}=P(y=0|\mathbf{x};\theta )=1-h_{\theta }(\mathbf{x})=1-g({\theta }^T\mathbf{x})\end{array}\text{\hspace{1em}(5)}$$

数学推导

对于给定的训练样本集合中的m个样本，其释然函数可以表示为：

$$\begin{array}{r}L(\theta )=\prod _{i=1}^{m}p(y|\mathbf{x};\theta )=\prod _{i=1}^m{h}_{\theta }(\mathbf{x}{)}^{y_i}(1-h_{\theta }(\mathbf{x}){)}^{1-y_i}\end{array}\text{\hspace{1em}(6)}$$

对数释然函数计算公式如下：

$$\begin{array}{r}l(\theta )=logL(\theta )=\sum _{i=1}^m{y}_{i}log{h}_{\theta }(\mathbf{x})+(1-y_i)log(1-h_{\theta }(\mathbf{x}))\end{array}\text{\hspace{1em}(7)}$$

为了使对数释然函数最大，可以定义逻辑回归的损失函数为：

$$\begin{array}{r}J(\theta )=-\frac{1}{m}l(\theta )\end{array}\text{\hspace{1em}(8)}$$

为了求得最优的参数$\theta$，可以应用随机梯度下降算法对参数求偏导数，具体的推导公式如下：

$$\begin{array}{rl}\frac{\partial J(\theta )}{\partial {\theta }_j}& =-\frac{1}{m}\sum _{i=1}^m(y^{(i)}\frac{1}{h_{\theta }(\mathbf{x})}\frac{\partial h_{\theta }(\mathbf{x})}{\partial {\theta }_j}-(1-y^{(i)})\frac{1}{1-h_{\theta }(\mathbf{x})}\frac{\partial h_{\theta }(\mathbf{x})}{\partial {\theta }_j})\\ & =-\frac{1}{m}\sum _{i=1}^m(y^{(i)}\frac{1}{h_{\theta }(\mathbf{x})}-(1-y^{(i)})\frac{1}{1-h_{\theta }(\mathbf{x})})\frac{\partial h_{\theta }(\mathbf{x})}{\partial {\theta }_j}\\ & =-\frac{1}{m}\sum _{i=1}^m(y^{(i)}\frac{1}{g({\theta }^T{\mathbf{x}}^{(i)})}-(1-y^{(i)})\frac{1}{1-g({\theta }^T{\mathbf{x}}^{(i)})})\frac{\partial g({\theta }^T{\mathbf{x}}^{(i)})}{\partial {\theta }_j}\\ & =-\frac{1}{m}\sum _{i=1}^m(y^{(i)}\frac{1}{g({\theta }^T{\mathbf{x}}^{(i)})}-(1-y^{(i)})\frac{1}{1-g({\theta }^T{\mathbf{x}}^{(i)})})g({\theta }^T{\mathbf{x}}^{(i)})(1-g({\theta }^T{\mathbf{x}}^{(i)}))x_j^{(i)}\\ & =-\frac{1}{m}\sum _{i=1}^m(y^{(i)}-g({\theta }^T{\mathbf{x}}^{(i)}))x_j^{(i)}\\ & =\frac{1}{m}\sum _{i=1}^m(h_{\theta }({\mathbf{x}}^{(i)})-y^{(i)})x_j^{(i)}\end{array}$$

将求得的偏导带入梯度下降公式，可以得到参数$\theta$的更新公式如下：

$$\begin{array}{r}{\theta }_j:={\theta }_j-\alpha \frac{\partial J(\theta )}{\partial {\theta }_j}={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m(h_{\theta }({\mathbf{x}}^{(i)})-y^{(i)})x_j^{(i)}\end{array}\text{\hspace{1em}(9)}$$

代码实现

相关代码实现后面统一发布到github上面。