【主动学习 02】Cost-Effective Active Learning from Diverse Labelers (IJCAI‘17)

Cost-Effective Active Learning from Diverse Labelers(IJCAI’17)

这篇文章指出在主动学习过程中标注数据时要考虑“Oracle are cost-sensitive”，有高质量、高成本的专家和低质量、低成本的专家可以选择来标注。这篇文章是的假设是：有多个专家，擅长的领域知识不同、质量也不同。

假设现在又一个小的有标签数据集 L = { ( x i , y i ) } i = 1 n l L=\left\{\left(\mathrm{x}_{i}, y_{i}\right)\right\}_{i=1}^{n_{l}} L={(xi​,yi​)}i=1nl​​，有$n_l$个样本；无标签样本集 U = { x j } j = n l + 1 n l + n u U = \left\{\mathrm{x}_{j}\right\}_{j=n_{l}+1}^{n_{l}+n_{u}} U={xj​}j=nl​+1nl​+nu​​ 有$n_u$个样本，一般$n_l\ll n_u$，还有一个标注专家待选集 A = { a 1 , ⋯   , a m } A=\left\{a_{1}, \cdots, a_{m}\right\} A={a1​,⋯,am​}。令${\hat{y}}_{ij}$时专家$a_i$给样本$x_j$提供的标签。

主动学习的每次迭代中，算法选择一个样本-专家对$\left({\mathrm{x}}^{\ast },a^{\ast }\right)$，然后向专家$a^{\ast }$查询$x^{\ast }$的标签，选择样本和标注者都基于一个评价函数$Q$：
$$\left({\mathrm{x}}^{\ast },a^{\ast }\right)=\underset{\mathrm{x}\in U,a\in A}{\mathrm{argmax}}Q(\mathrm{x},a)$$
所以任务就是设计评价函数$Q(\mathrm{x},a)$，来衡量$(\mathrm{x},a)$的cost-effectiveness。

如何设计函数$Q$？要综合考虑三个因素：样本有用、标签准确、专家性价比。结合起来

1、Usefulness of the Instance

对于二分类问题，就选概率接近0.5的：
$$r(\mathrm{x})=|p(y=1\mid \mathrm{x})-0.5|\text{\hspace{1em}(1)}$$
用logistic regression来分类：
$$p(y=1\mid \mathrm{x})=\frac{1}{1+\exp (-f(\mathrm{x}))}$$
其中$f(\mathrm{x})={\mathrm{w}}^{\top }\mathrm{x}+b$。对于多分类问题：
$$r(\mathrm{x})=1-\underset{y\in \mathcal{Y}}{\max }p(y\mid \mathrm{x})\text{\hspace{1em}(2)}$$

2、Accuracy of the Labeling

$$q_i\left({\mathrm{x}}_j\right)=\frac{1}{t}\sum _{{\mathrm{x}}_k\in N\left({\mathrm{x}}_j,t\right)}S\left({\mathrm{x}}_j,{\mathrm{x}}_k\right)I\left[y_k=={\hat{y}}_{ik}\right]\text{\hspace{1em}(3)}$$

其中$N\left({\mathrm{x}}_j,t\right)$返回原始有标签数据集中$x_j$最附近的$t$个邻居，$S\left({\mathrm{x}}_j,{\mathrm{x}}_k\right)$衡量$x_j$个$x_k$的相似度，$I[\cdot ]$是指示函数，相等返回1，否则返0。这篇文章里就用欧氏距离。显然，$x_j$的$t$个邻居中，更像$x_j$的贡献更多的estimation of $q_i\left({\mathrm{x}}_j\right)$。

3、Cost of the Query

高质量标注者高成本。标注者$a_i$标注一个标签的成本$c_i$：
$$c_i=g\left(\frac{1}{n_l}\sum _{j=1}^{n_l}I\left[y_j=={\hat{y}}_{ij}\right]\right)\text{\hspace{1em}(4)}$$
其中$\frac{1}{n_l}{\sum }_{j=1}^{n_l}I\left[y_j=={\hat{y}}_{ij}\right]$计算标注者$a_i$在$L$的准确率，$g(\cdot )$表述了成本和准确率之前的关系，比如：$g(z)=z$

三合一，Cost-Effectiveness

综合以上三点，$Q$函数就设计出来了：
$$Q\left({\mathrm{x}}_j,a_i\right)=\frac{q_i\left({\mathrm{x}}_j\right)\cdot r\left({\mathrm{x}}_j\right)}{c_i}\text{\hspace{1em}(5)}$$
选instance-labeler pair：
$$\left({\mathrm{x}}^{\ast },a^{\ast }\right)=\underset{{\mathbf{x}}_j\in U,a_i\in A}{\mathrm{argmax}}Q\left({\mathrm{x}}_j,a_i\right)\text{\hspace{1em}(6)}$$
算法流程：

实验结果：

黑线ALC是每次只选在全局数据最可靠的标注者。在UCI数据集上本文的效果最好，在现实世界数据集上也没好太多。