多分类和二分类的关系

1 VS Rest, 1 VS 1, DAG法：

1 VS Rest : 训练K个分类器，每个分类器有1类做正例其余K-1类做负例；预测阶段，取正例概率最大的那个分类器的结果即可；优点：分类器就K个，个数少；缺点：正负样本数量不平衡，影响分类效果。

1 VS 1 : 训练K(K-1)/2个分类器，每个分类器有1类做正例有1类做负例；预测阶段，给分成正例的类别做投票，票数最多的类别获胜；优点：正负样本个数平衡；缺点：训练分类器个数多，测试阶段分类次数多，存在拒分（最多票数的有几个类别的投票数一样）和误判（样本本来不属于A类也不属于B类，但是在A-B分类时，必须投票给其中一类）的问题；

DAG法：建立层级DAG结构（注意不是树形结构，节点有复用），最上层一个节点是K个类，挑一个1V1的分类器进行二分类，分到哪一类就排除另一类，下一层节点只包含剩下的K-1类；优点：正负样本个数平衡，预测阶段分类次数少；缺点：对误差更敏感（一次分错排除了该类，后面就再没有机会分到该类了）

 

Softmax回归 VS 多个LR回归：

如果你在开发一个音乐分类的应用，需要对k种类型的音乐进行识别，那么是选择使用 softmax 分类器呢，还是使用 logistic 回归算法建立 k 个独立的二元分类器呢？

这一选择取决于你的类别之间是否互斥，例如，如果你有四个类别的音乐，分别为：古典音乐、乡村音乐、摇滚乐和爵士乐，那么你可以假设每个训练样本只会被打上一个标签（即：一首歌只能属于这四种音乐类型的其中一种），此时你应该使用类别数 k = 4 的softmax回归。（如果在你的数据集中，有的歌曲不属于以上四类的其中任何一类，那么你可以添加一个“其他类”，并将类别数 k 设为5。）

如果你的四个类别如下：人声音乐、舞曲、影视原声、流行歌曲，那么这些类别之间并不是互斥的。例如：一首歌曲可以来源于影视原声，同时也包含人声 。这种情况下，使用4个二分类的 logistic 回归分类器更为合适。这样，对于每个新的音乐作品 ，我们的算法可以分别判断它是否属于各个类别。

现在我们来看一个计算视觉领域的例子，你的任务是将图像分到三个不同类别中。(i) 假设这三个类别分别是：室内场景、户外城区场景、户外荒野场景。你会使用sofmax回归还是 3个logistic 回归分类器呢？ (ii) 现在假设这三个类别分别是室内场景、黑白图片、包含人物的图片，你又会选择 softmax 回归还是多个 logistic 回归分类器呢？

在第一个例子中，三个类别是互斥的，因此更适于选择softmax回归分类器 。而在第二个例子中，建立三个独立的 logistic回归分类器更加合适。

 

Multi-class：以上就是；即一个样本只能属于多个类别里的某一个类别；

Multi-label：把label翻译成"标签"，好理解，一个样本可以打上0~N个标签；损失函数是多个二分类器的损失函数之和（也就是各个似然函数的乘积取log再取负）

 

softmax求导：

https://blog.csdn.net/abeldeng/article/details/79092962

softmax之前一层的某个节点x[k], 导数和softmax之后一层的所有节点有关！（分为i=j和i<>j两种情况讨论，分别求导，最后再全加起来）