机器学习--基础--逻辑回归/分类（logistic regression）原理与设计思路

logistic regression

原理

前言

逻辑回归与分类同线性回归与分类有很强的关系；关于逻辑回归算法本身的学习应当参考线性回所指出的一般性思路，即先找两个算法的共同点；其后就逻辑回归算法设计的独到之处进行辨明，即学习该算法相较于其他算法的不同点；从中领略算法设计的思想。

建模

逻辑回归的建模是明确且简单的，假设具有$(x_0^{(0)},x_1^{(0)},...),(x_0^{(1)},x_1^{(1)},...),...$这样的一组特征向量，或者特征矩阵；具有$(y_0,y_1,...)$这样的一组标签，那么构建起标签同特征向量的关系为
$$Y=\frac{1}{1+e^{-h_{\theta }(X)}}$$
这里$h_{\theta }(X)$就是线性回归的模型，具体可参考链接。
这也就明确了，logistic regression 实际上就是需要去确定一组合适的$\theta$使得上述计算出的结果同真实标签的差异最小化；因此接下来就可以基于上述模型，定义出损失函数：
$$L(\theta )=-\sum _{i=1}^n{y}_{i}log(p(x_i,\theta ))+(1-y_i)log(1-p(x_i,\theta ))$$
这里的$p(x,\theta )$就是上述的模型函数。现在先不考虑为什么不是像线性回归那样的绝对值差，先就认为要优化的函数就是上述的$L$,值得说一句的是这里的$L$就是深度学习里常见的交叉熵函数，那么一般来说，我们通常采用基于梯度下降的方法来优化L，下面进行推导$\frac{\partial L}{\partial \theta }$

∂ L ∂ θ i = ∑ i = 1 n ( − y i 1 p ( x i , θ ) ∂ p ( x i , θ ) ∂ θ i − (