详细参见:G. Wang, J. Hwang, C. Rose, and F. Wallace, “Uncertainty-based active learning via sparse modeling for image classification,” IEEE Transactions on Image Processing, vol. 28, pp. 316–329, Jan 2019.
![5c0fc9ff701caa0593a4ae1a96c5ab68.png](https://i-blog.csdnimg.cn/blog_migrate/30178d611810b4fd37801441371cb268.jpeg)
由图可知,首先已标记的部分数据被用于训练一个多类别分类器,然后该分类器将被用于预测未标记数据的标签,基于分类器的预测,通过高斯核实现的稀疏建模被用于样本选择,紧接着被选择的样本将被标记并从未标记数据中移出,循环上述步骤,每次循环结束后,分类器将在更新后的已标记数据集上重新训练,最后主动学习性能将在一个独立的测试数据集上得到评估。
在本文中,出于计算复杂度的原因,支持向量机(Support Vector Machine, SVM)将被用于主动学习算法中作为分类器。当然,其他分类器也同样可行,如卷积神经网(Convolution Neural Networks, CNN)等。
多类别支持向量机(Multi-Class SVM)
对于多类别分类问题而言,我们将采用 one vs. the rest策略训练SVM分类器支持向量机。假设有k个类别,第k类被看作正类(或负类),剩下的样本将被看作负类(或正类)。因此得到第 k个分类器的损失函数如下所示:
其中
其中
不确定性度量(Uncertainty Measure)
在主动学习算法中,不确定性采样就是从未标记样本集中选择最不确定的样本进行标记。对于基于SVM算法的分类器,普遍采用最有可能的两个预测(the first two most likely predictions)的距离作为不确定性度量。
其中
基于稀疏建模的样本选择策略(Sample Selection via Sparse Modeling)
通过分类器获得的不确定性得分,信息量最丰富的样本(the most informative sample)将被选择进行查询。在传统的不确定性采样方法啊中,不确定性得分最高的
![a921c8c9b52a9ce6ce8128d29dd9b536.png](https://i-blog.csdnimg.cn/blog_migrate/fce28bfbcf266854dda5a7fc72b68f89.jpeg)
具体而言,就是选择尽可能少的样本来包含尽可能多的信息。因此,修改后的优化函数如下所示:
其中