总结 Logistic 回归与 Softmax 回归联系与区别

Logistic 回归与 Softmax 回归是两个基础的分类模型，虽然听名字像是回归模型，实际上并非如此。Logistic 回归，Softmax 回归以及线性回归都是基于线性模型。其实 Softmax 就是 Logistic 的推广，Logistic 一般用于二分类，而softmax 是多分类。

逻辑回归的激活函数是 sigmoid 函数，可理解成一个被 sigmoid 函数归一化后的线性回归，sigmoid 函数把实数映射到了 [0,1] 区间。关于 Logistic 回归的参数估计求解，在此不详说。如果要预测一个未知数据 x 属于哪个类，只需要带入 sigmoid 假设函数，最简单的决策方法，如果其值在 0.5~1 之间，属于类别 1，反之属于类别 0。

当类别数 k = 2 时，SoftMax 回归退化为逻辑回归。

SoftMax 回归与多个 Logistic 回归二分类的区别

Logistic 回归可以通过推广到 SoftMax 回归来解决多分类问题。下面通过实例介绍 SoftMax 回归与多个 Logistic 回归二分类的区别。

使用 SoftMax 回归或者是多个 Logistic 回归二分类解决多分类问题，取决于类别之间是否互斥，例如，如果有四个类别的音乐，分别为：古典音乐、乡村音乐、摇滚乐和爵士乐，那么可以假设每个训练样本只会被打上一个标签（即：一首歌只能属于这四种音乐类型的其中一种），此时你应该使用类别数 k = 4 的 SoftMax 回归。（如果在你的数据集中，有的歌曲不属于以上四类的其中任何一类，那么你可以添加一个“其他类”，并将类别数 k 设为5）。

如果四个类别如下：人声音乐、舞曲、影视原声、流行歌曲，那么这些类别之间并不是互斥的。例如：一首歌曲可以来源于影视原声，同时也包含人声 。这种情况下，使用 4 个二分类的 Logistic 回归分类器更为合适。这样，对于每个新的音乐作品 ，我们的算法可以分别判断它是否属于各个类别。

Logistic 回归以及 Softmax 回归与神经网络的关系

一般的神经网络有输入层，隐含层以及输出层构成，而上图中只有输入层和输出层，而没有隐含层。神经网络处理二分类时，输出层为一个节点，但处理K（K>2）分类问题时，数据节点为K个。值得注意的，在神经网络中的最后一层隐含层和输出层就可以看成是 Logistic 回归或 SoftMax 回归模型，之前的层只是从原始输入数据从学习特征，然后把学习得到的特征交给 Logistic 回归或 SoftMax 回归处理。
因此，可以把处理分类问题的神经网络分成两部分，特征学习和 Logistic 回归或 SoftMax 回归。