Sigmoid函数推导（逻辑回归激活函数来历）

转载请注明出处：https://blog.csdn.net/weixin_38275649/article/details/80340538

    逻辑回归实际上是使用回归进行二分类的方法。
    线性回归返回的范围为\((-\infty,+\infty)\)，而分类预测结果需要得到取值范围为\([0,1]\)的概率值，这样就需要一个由\((-\infty,+\infty)\)映射到\([0,1]\)的关系函数，这个函数关系，我们就可以使用\(Sigmoid(x)={1\over{1+e^{-x}}}\)函数。

    那为什么要用这个函数呢？请看下面（不严谨之处请见谅）：

    设线性回归的得到的值为\(a\)，映射产生的概率值为\(p\).
    我们先看看\(p\over{1-p}\)的取值范围\([0,+\infty)\).见图：

    \(p\over{1-p}\)在统计学上叫做比值比（odds），又名机会比、优势比、交叉乘积比、相对比值、两个比值的比、赔率等. 这个比值比的含义比概率要直观的多，例如，我们考察一场足球比赛中A队的胜率，假设A队获胜的概率为0.99，这个概率的比值比为99/1，后者很明显表达了100场比赛99场获胜的可能性.
  

    接下来，我们再给比值比加一个自然对数看看\(ln({p\over{1-p}})\)，图像如下：

    这个函数的图形我们就感觉很熟悉了，这个函数\(y=ln({p\over{1-p}})\)把p映射到了y，我们把这个函数的p解出来就能得到y到p的映射了：
$$p(y)=Sigmoid(y)={1\over{1+e^{-y}}}$$
    图像如下：

    \(Sigmiod\)函数\(S(x)\)的一个性质：\(S'(x)=S(x)(1-S(x))\).