多分类与多标签分类

多分类与多标签分类

概念

• 多分类（Multi-Class）任务中一个样本只有一个标签，但这个标签可能有多种类别。比如判定某个教师的职称，只能归类为"讲师"、"副教授"和"正教授"其中一个。
• 多标签分类（Multi-Label）任务中一个样本可能有多个标签，每个标签可能有两个或者多个类别（一般两个）。例如，一篇博客可能同时归类为"机器学习"、“计算机视觉"和"并行计算”，也可能只属于"计算机视觉"。

多分类

基于二分类算法的实现策略

• one-vs-one策略中，建立$n\ast (n-1)/2$个二分类器，统计各个二分类器的预测结果，选择次数最多的类被作为最终类别。
• one-vs-rest策略中，建立$n$个二分类器，统计各个二分类器的预测结果，选择概率最大的类别作为最终类别。

基于神经网络算法的实现策略

一般将softmax用作多分类神经网络全连接层的输出函数。softmax把各项输入映射为$[0,1]$之间的实数，并且通过归一化保证和为1。如果某一项输出大于其余所有输出，则认为该样本属于此类别。
tf.nn.softmax_cross_entropy_with_logits适用于多分类。

多标签

基于神经网络算法的实现策略

一般将sigmoid用作多标签分类神经网络全连接层的输出函数。sigmoid把各项输入映射为$[0,1]$之间的实数。如果某一项输出大于给定概率阈值，则认为该样本属于此类别，否则不属于此类别。
tf.nn.sigmoid_cross_entropy_with_logits适用于多标签分类。将sigmoid激活函数应用于多标签分类时，其损失函数应设置为binary_crossentropy。