ML-Logistic回归

机器学习-Logistic回归

基础介绍

Logistic回归主要针对二分类问题，为广义线性回归模型，通俗一点来说就是一个线性回归+Sigmoid映射。

• 线性回归
  $$f(x)=w^{T}x+b$$
  首先我们看到这个方程本质上涉及两个运算，一个矩阵运算和一个加法运算。
• Sigmoid函数

$$f(x)=1/(1+exp(-z))$$

• Logistic回归
  $$y=1/(1+exp(-w^{T}x+b))$$
  通过Sigmoid函数设置阈值，及超过该阈值为1，低于该阈值为0。则有
  $$F^{\ast }(x)=ln\frac{p(y=1|x)}{p(y=0|x)}=w^{T}x+b$$
  $$p(y=1|x)=\frac{e^{w^{T}x+b}}{1+e^{w^{T}x+b}}$$
  $$p(y=0|x)=\frac{1}{1+e^{w^{T}x+b}}$$
  通过这两个公式，我们成功的将概率和矩阵计算应用到了二分类问题当中。所以Logistic回归问题也可以被看成一个概率估计问题。
  由$F^{\ast }(x)=w^{T}x+b$可以看出，我们最终是要求出$w^T$和$b$来确定出一个拟合直线，也就是计算机分类的决策边界。
  那么采用何种方法来得到$w^T$和$b$?
  则该问题转换为一个利用最优化方法求最佳回归系数的问题。针对该问题的解答本文不再详细赘述。可以参见https://www.cnblogs.com/xiaoyingying/p/7527163.html.有代码详解