文献Active Deep Learning for Classification of Hyperspectral Images
了解知识: RBM 受限波尔茨曼机:https://zhuanlan.zhihu.com/p/24989699
提取数据特征,有点像自动编码器。一类具有两层结构的、对称链接无自反馈的随机神经网络模型(一种特殊的马尔科夫随机场)。
- 什么是主动学习?
在某些情况下,没有类标签的数据相当丰富而有类标签的数据相当稀少,并且人工对数据进行标记的成本又相当高昂。在这种情况下,我们可以让学习算法主动地提出要对哪些数据进行标注,之后我们要将这些数据送到专家那里让他们进行标注,再将这些数据加入到训练样本集中对算法进行训练。这一过程叫做主动学习。
主动学习方法一般可以分为两部分: 学习引擎和选择引擎。学习引擎维护一个基准分类器,并使用监督学习算法对系统提供的已标注样例进行学习从而使该分类器的性能提高,而选择引擎负责运行样例选择算法选择一个未标注的样例并将其交由人类专家进行标注,再将标注后的样例加入到已标注样例集中。学习引擎和选择引擎交替工作,经过多次循环,基准分类器的性能逐渐提高,当满足预设条件时,过程终止。 首先一个研究点是选择新样本的标准,这已经在早期被研究过了。
其中x是候选样本,xn是一个未标记的任意样本,S表示两者之间相似度,phi函数表示样本的不确定性。后者物理意义是让选择的x尽可能具有代表性。(similarity and uncertainty)