logistic函数是softmax函数的一个特例

机器学习最常见的两个函数，一个是logistic函数，另一个是softmax函数，若有不足之处，希望大家可以帮忙指正。本文首先分别介绍logistic函数和softmax函数的定义和应用，然后针对两者的联系和区别进行了总结。

回到顶部

1. logistic函数

1.1 logistic函数定义

　　引用wiki百科的定义：

　　A logistic function or logistic curve is a common "S" shape (sigmoid curve).

　　其实逻辑斯谛函数也就是经常说的sigmoid函数，它的几何形状也就是一条sigmoid曲线。

　　logistic函数的公式形式如下：

f(x)=L1+e−k(x−x0)

　　其中， x0表示了函数曲线的中心（sigmoid midpoint）， k是曲线的坡度。

　　logistic的几何形状如下所示：

 

1.2 logistic函数的应用

　　logistic函数本身在众多领域中都有很多应用，我们只谈统计学和机器学习领域。

　　logistic函数在统计学和机器学习领域应用最为广泛或者最为人熟知的肯定是逻辑斯谛回归模型了。逻辑斯谛回归（Logistic Regression，简称LR）作为一种对数线性模型（log-linear model）被广泛地应用于分类和回归场景中。此外，logistic函数也是神经网络最为常用的激活函数，即sigmoid函数。

回到顶部

2. softmax函数

2.1 softmax函数的定义

　　同样，我们贴一下wiki百科对softmax函数的定义：

　　softmax is a generalization of logistic function that "squashes"(maps) a  K-dimensional vector  z of arbitrary real values to a  K-dimensional vector  σ(z) of real values in the range (0, 1) that add up to 1.

　　这句话既表明了softmax函数与logistic函数的关系，也同时阐述了softmax函数的本质就是将一个 K维的任意实数向量压缩（映射）成另一个 K维的实数向量，其中向量中的每个元素取值都介于（0，1）之间。

　　softmax函数形式如下：

σ(z)j=ezj∑k=1Kezk

　　其中 j=1,2,...,K。

2.2 sotfmax函数的应用

　　softmax函数经常用在神经网络的最后一层，作为输出层，进行多分类。此外，softmax在增强学习领域内，softmax经常被用作将某个值转化为激活概率，这类情况下，softmax的公式如下：

Pt(a)=eqt(a)T∑i=1neqt(i)T

　　其中， T被称为是温度参数（temperature parameter）。当T很大时，即趋于正无穷时，所有的激活值对应的激活概率趋近于相同（激活概率差异性较小）；而当T很低时，即趋于0时，不同的激活值对应的激活概率差异也就越大。这个结论很重要，Hinton在2015年的一篇paper中重点阐释了如何根据温度参数来soften神经网络的输出，从而提出了distillation的思想和方法。

回到顶部

3. logistic和softmax的关系

　　1）logistic具体针对的是二分类问题，而softmax解决的是多分类问题，因此从这个角度也可以理解logistic函数是softmax函数的一个特例。

　　这里借鉴UFLDL教程中的推导，具体的推导过程如下：

　　当分类数为2时，softmax回归的假设函数表示如下：

 

　　利用softmax回归参数冗余的特点，从两个参数向量中都减去向量 θ1，得到：

　　最后，用 θ′来表示 θ2−θ1，上述公式可以表示为softmax回归器预测其中一个类别的概率为

11+eθ′Txi

　　另一个类别的概率为

1−11+eθ′Txi

　　这与logistic回归是完全一致的。

　　2）从概率角度来看logistic和softmax函数的区别。

　　softmax建模使用的分布是多项式分布，而logistic则基于伯努利分布，这方面具体的解释可以参考Andrew Ng的讲义去理解。

　　3）softmax回归和多个logistic回归的关系。

　　有了解的同学可能知道多个logistic回归通过叠加也同样可以实现多分类的效果，那么多个logistic回归和softmax一样不一样呢？

　　softmax回归进行的多分类，类与类之间是互斥的，即一个输入只能被归为一类；

　　多个logistic回归进行多分类，输出的类别并不是互斥的，即"苹果"这个词语既属于"水果"类也属于"3C"类别。

1. 伯努利分布

伯努利分布(Bernoulli distribution)又名两点分布或0-1分布，介绍伯努利分布前首先需要引入伯努利试验（Bernoulli trial）。

• 伯努利试验是只有两种可能结果的单次随机试验，即对于一个随机变量X而言：

伯努利试验都可以表达为“是或否”的问题。例如，抛一次硬币是正面向上吗？刚出生的小孩是个女孩吗？等等

• 如果试验E是一个伯努利试验，将E独立重复地进行n次，则称这一串重复的独立试验为n重伯努利试验。
• 进行一次伯努利试验，成功(X=1)概率为p(0<=p<=1)，失败(X=0)概率为1-p，则称随机变量X服从伯努利分布。伯努利分布是离散型概率分布，其概率质量函数为：

2. 二项分布

二项分布(Binomial distribution)是n重伯努利试验成功次数的离散概率分布。

• 如果试验E是一个n重伯努利试验，每次伯努利试验的成功概率为p，X代表成功的次数，则X的概率分布是二项分布，记为X~B(n,p)，其概率质量函数为

  

  显然，

  

• 从定义可以看出，伯努利分布是二项分布在n=1时的特例
• 二项分布名称的由来，是由于其概率质量函数中使用了二项系数，该系数是二项式定理中的系数，二项式定理由牛顿提出：

  

• 二项分布的典型例子是扔硬币，硬币正面朝上概率为p, 重复扔n次硬币，k次为正面的概率即为一个二项分布概率。

3. 多项分布

多项式分布(Multinomial Distribution)是二项式分布的推广。二项式做n次伯努利实验，规定了每次试验的结果只有两个，如果现在还是做n次试验，只不过每次试验的结果可以有多m个，且m个结果发生的概率互斥且和为1，则发生其中一个结果X次的概率就是多项式分布。

• 扔骰子是典型的多项式分布。扔骰子，不同于扔硬币，骰子有6个面对应6个不同的点数，这样单次每个点数朝上的概率都是1/6（对应p1~p6，它们的值不一定都是1/6，只要和为1且互斥即可，比如一个形状不规则的骰子）,重复扔n次，如果问有k次都是点数6朝上的概率就是

  

• 多项式分布一般的概率质量函数为：