python机器学习算法》学习之路-第二章(Logistic Regression逻辑回归)

• Logistic Regression

  • Logistic Refression 模型是广义线性模型的一种，在分类的问题中，需要找到一条直线（超平面）来分割不同类别的数据。

  • 超平面的表示：

    $$y=WX+b$$其中，W为权重(向量)，b为偏置(向量)，根据维度的不同，公式可以表示为($y=wx+b$或者$y=w_1{x}_1+w_2{x}_2+......+w_n{x}_n+b_0+b_1+......+b_n$)，通过对样本数据的学习，最终得到超平面的函数。

  • 阈值函数：

    在Logistic Regression分类中，数据被分为两个类别，就是需要将样本映射到两个不同的类别中，常见的阈值函数(Sigmoid函数)：$$y=\frac{1}{1+e^{-x}}$$
    该函数图像是我调用python下面matlablib库简单做出的sigmoid函数的图像。源代码在https://github.com/xzccfzy/sigmoid_show.git
    根据图像可以看出，无论输入的值为什么，通过sigmoid输出的值都在[0，1]之间。所以可以满足将样本映射到两个不同类别的这个要求，并且可以将sigmoid的输出值作为概率。

  • 将超平面与阈值函数结合起来

    sigmoid函数的输入是一个数，那么如果将输入换成一组向量呢，即将超平面的函数式作为sigmoid的输入，那么输出即为某个数据的类别了。
    sigmoid函数和超平面函数结合的结果为： f ( X , W , b ) = 1 1 + e − ( W X + b ) f(X,W,b)=\frac{1}{1+e^{-(WX+b)}} f(X,W,b)=1+<