机器学习基础（二）——LogisticRegression

假设有如下数据集代表$y=(0,1)$两类不同数据

以$P(\hat{y}=1|x,w)$来表示$\hat{y}=1$的概率,而由于y的取值为0或1，有$P(\hat{y}=1|x,w)+P(\hat{y}=0|x,w)=1$，Logistic regression方法用线性方程加Sigmoid函数限制($0\le P\le 1$)的方式建立模型:

$$h_w(x)=g(z)$$

$$g(z)=\frac{1}{1+e^{-z}}$$

$$z=w^{T}x$$

然后使用阈值(threshold)来判断具体分类结果:

$$y=\{\begin{array}{l}0h_w(x)<threshold\\ 1h_w(x)\ge threshold\end{array}$$

计算损失函数如下：

$$loss=\frac{1}{m}\sum _{i=1}^m\frac{1}{2}(h_w(x^{(i)}-y^{(i)}){)}^2$$

$$Cost(h_w(x),y)=\frac{1}{2}(h_w(x)-y{)}^2$$

但是显然由于Sigmoid函数的影响损失函数是“非凸”的，所以需要通过变形来得到一个合适的形式：

$$Cost(h_w(x),y)=\{\begin{array}{l}-log(h_w(x))y=1\\ -log(1-h_w(x))y=0\end{array}$$

分析Cost函数：

• 当$y=1,h_w(x)=1$时$Cost=0$,即$P(y=1|w,x)=1$时预测$y=1$的准确度极高。
• 当$y=1,h_w(x)=0$时$Cost\to \infty$,即$P(y=1|w,x)=0$时预测$y=1$的准确度极低。
• 当$y=0$时的情况相同。

所以使用如下Cost形式：

$$Cost(h_w(x),y)=-ylog(h_w(x))-(1-y)log(1-h_w(x))$$

需要求解的优化问题为：

$$minloss(w)=\frac{1}{m}\sum _{(i=1)}mCost(h_w(x),y)$$

$$\frac{d}{d{w}_j}(Cost(w))=-y\frac{1}{h_w(x)}{h}_w(x)(1-h_w(x))x_j-(1-y)\frac{-h_w(x)}{1-h_w(x)}(1-h_w(x))x_j$$

$$=(h_w(x)-y)x_j$$

$$\frac{d}{d{w}_j}(loss(w))=\frac{1}{m}\sum _{i=1}^m(h_w(x^{(i)})-y^{(i)})x_j^{(i)}$$

以上为逻辑回归算法的基本思路，更详尽描述待补充

基于numpy的具体实现代码见：https://github.com/Alnlll/ML/tree/master/lgr