logistic回归与softmax回归的区别与联系

logistic回归是机器学习中的经典分类方法，我们提到logistic回归一般多指二项logistic回归模型，由条件概率分布P(Y|X)表示，这里随机变量X取值为实数，随机变量Y取值为1或0.
logistic回归模型源自logistic分布，其分布函数是Sigmoid函数。logistic模型是由输入的线性函数表示的输出的对数几率模型。
如下图所示为Sigmoid函数表达式，也就是logistic分布的分布函数

图呢，长这样：

但是该函数输入值(也即自变量)并不是随机变量X的值，而是由随机变量X的值转化而来的，并且是线性转化而来，具体为：

对于二项logistic回归模型(也就是二分类)的条件概率分布如下：

推广到多项logistic回归模型(也就是多分类问题)为：

当然这里是仿照二分类的二项logistic回归直接推广到多分类的，不过我们发现，多项logistic回归对于最后一类(也就是K类)的计算实际是通过1减去K-1类的概率之和而求得的，这样使得第K类和其他类别有了一定的区别(按理说所有类别的计算应该是无差别的也就是使用同一个公式)，我们为了消除这种区别，对于多项logistic回归模型做了一定的修改，统一成以下的概率函数：

这就是我们常见的多分类softmax回归的概率函数。