论文阅读--Active Learning 样本选择方法总结

因为最近在做和Active Learning 以及Domain Adaptation相关的论文，所以看一些相关的论文，总结了Active Learning种select sample时使用的策略

1. Transferable Query Selection for Active Domain Adaptation

1. committee: 使用$M$个分类器，这$M$个分类器对样本$x$分类的差异越大，越要选择这个样本。
   • 如果一个样本在越靠近决策边界，$M$个分类器对其分类的结果越不一致
   • $Q_c(x)=\sqrt{\frac{{\sum }_{m=1}^M\Vert C_m(F(x))-\frac{1}{M}{\sum }_{m^{{}^{\prime }}=1}^M{C}_{m^{{}^{\prime }}}(F(x))\Vert }{M}}$
2. uncertainty: 使用$M$和分类器的softmax最大概率-第二大概率
   • $Q_u(x)={\sum }_{m=1}^M\frac{[1-({\max }_i{\hat{y}}_m^i-{\max }_{j|j\ne \underset{k}{\mathrm{argmax}}{\hat{y}}_m^k}{\hat{y}}_m^j)]}{M}$
3. domainness: 选择的样本应该在domain分类的决策边界上，不光class模糊，domain也要模糊
   • $Q_d(x)=\frac{1}{\sigma \sqrt{2\pi }}\exp (-\frac{{(D(F(x))-\mu )}^2}{2{\sigma }^2})$
4. 作者结合committee，uncertainty和domainness，加之前做归一化
   • score(x)(选大) = $Q_c(x)+Q_c(x)+Q_d(x)$

2. Active Domain Adaptation via Clustering Uncertainty-weighted Embeddings

这里作者更改了k-MEANS中update $\mu$的方式，加了个熵权重

1. uncertainty and diversity: 选择靠近改进k-MEANS中心的样本点
   • CLUE:
     • init: K(=B)centroids { μ i } i = 1 B \{\mu_i\}_{i=1}^B {μi​}i=1B​(KMeans++)
     • Assign: X k ← { x ∣ k = arg min ⁡ i = 1 , . . . , K ∥ ϕ ( x ) − μ i ∥ 2 } ∀ x X_k\leftarrow \{x|k=\argmin_{i=1,...,K}\|\phi(x)-\mu_i{\|}^2{\}}_{\forall x} Xk​←{x∣k=i=1,...,Kargmin​∥ϕ(x)−μi​∥2}∀x​
     • Update: ${\mu }_k\leftarrow \frac{{\sum }_{x\in X_k}\mathcal{H}(Y|x)\varphi (x)}{{\sum }_{x\in X_k}\mathcal{H}(Y|x)}\forall k$
   • Select: $\underset{\mathcal{S},\mu }{\mathrm{argmin}}{\sum }_{k=1}^K\frac{1}{Z_k}{\sum }_{x\in X_k}\mathcal{H}(Y|x)\Vert \varphi (x)-{\mu }_k{\Vert }^2$

3. Cost-effective training of deep cnns with active model adaptation

1. uncertainty: 用于提升模型的能力
   • Uncertainty(x) = $-{\sum }_{k^{{}^{\prime }}=1}^{K^{{}^{\prime }}}(p(\mathcal{M}(x)=k^{{}^{\prime }}))\cdot (1-p(\mathcal{M}(x)=k^{{}^{\prime }}))$
2. distinctiveness: 最能捕获target task中特征的样本
   • 如何选择具有distinctiveness的样本：
     • $x$属于target任务时，浅层到深层的任务模式可以表示为：$S_x^{A\to B}$
     • 假如这个$x$属于source任务时（因为它本身是从target中取的），浅层到深层的任务模式可以表示为：${\hat{S}}_x^{A\to B}$
     • 因为这是假设的，所以这个${\hat{S}}_x^{A\to B}$使用source中每个类别的代表样本和概率来表示：${\hat{S}}_x^{A\to B}={\sum }_{k=1}^K{\alpha }_k(x)\cdot S_{c_k}^{A\to B}$
   • Distinctiveness(x) = $\frac{1-\tau (S_x^{A\to B},{\hat{S}}_x^{A\to B})}{2}$
3. 作者结合distinctiveness和uncertainty时使用到了迭代次数这个参数，超参数相加:score(x)(选大) = $(1-\lambda \cdot t\cdot distinctiveness(x))+\lambda \cdot t\cdot uncertainty(x)$

4. Active adversarial domain adaptation

1. uncertainty: 用于提升模型的能力，使用entropy
2. diversity: 使用近似的权重经验最小化(importance weighted empirical risk minimization)
   • 计算公式：$\frac{1-G_d^{\ast }(G_f(x))}{G_d^{\ast }(G_f(x))}$ # 为什么可以这样表示，我不太理解
3. 作者结合uncertainty和diversity时是直接相乘：s(x)(选大)=$\frac{1-G_d^{\ast }(G_f(x))}{G_d^{\ast }(G_f(x))}\mathcal{H}(G_y(G_f(x)))$

5. Multi-Anchor Active Domain Adaptation for Semantic Segmentation

这是一篇分割的论文，这篇论文在选择样本时只考虑了一个指标

1. dissimilar: the more dissimilar, the more complimentary
   • 计算target sample的向量表示： F t ( x t ) = c a t ( { F c t ( x t ) } c = 1 K ) F^t(x^t)=cat(\{F^t_c(x^t)\}_{c=1}^K) Ft(xt)=cat({Fct​(xt)}c=1K​)
     • 其中$F_c^t=\frac{1}{|{\Lambda }_c^t|}{\hat{y}}_c^t⨂f_E(x^t){|}_c$
   • 计算source的每个中心：$A_k^s=\frac{1}{|{\mathcal{C}}_k|}{\sum }_{x\in {\mathcal{C}}_k}{F}^s(x^s)$
   • 计算$x^t$到每个$A_k^s$的L2距离，选择最小的那个作为$x^t$的$score(x^t)$
   • 得到每个样本的$score(x^t)$(选大)

• 个人觉得这篇论文选择的策略只考虑了前面两篇论文的distinctiveness，没有考虑uncertainty

6. S${}^3$VAADA: Submodular Subset Selection for Virtual Adversarial Active Domain Adaptation

1. uncertainty: 这里作者使用扰动的影响来判断

   • $Forevery{x}_i\in {\mathcal{D}}_t$，使用${\max }_{\Vert r_i\Vert \le ϵ}{D}_{KL}(h_{\theta }\Vert h_{\theta }(x+r_i))$来找到每个样本$x_i$最合适的扰动$r_i$
   • $uncertainty(x_i)=VAP(x_i)=\frac{1}{N^2}[{\sum }_{i=1}^N{D}_{KL}(h_{\theta }(x)\Vert h_{\theta }(x+r_i))+{\sum }_{i=1}^N{\sum }_{j=1,i\ne j}^N{D}_{KL}(h_{\theta }(x+r_i)\Vert h_{\theta }(x+r_j))]$

2. diversity: 避免选择重复的样本

   • $d(S,x_i)={\min }_{x\in S}D(x,x_i)$；这里个人理解$S$是已经选择的样本,$x_i$是待选择的样本
   • 其中的$D$: $D(x_i,x_j)=D_{KL}(h_{\theta }(x_j)\Vert h_{\theta }(x_i))$

3. Representativeness: 选择具有代表性的样本

   • $R(S,x_i)={\sum }_{x_k\in {\mathcal{D}}_u}\max (0,s_{ki}-{\max }_{x_j\in \mathcal{S}}{s}_{kj})$
   • 其中$s_{ij}=-ln(1-BC(h_{\theta }(x_i),h_{\theta }(x_j)))$
   • BC是Bhattacharys coefficient: ${\sum }_k\sqrt{p_k{q}_k}$

4. 选择策略：$score(x_i)$(选大)=$\alpha VAP(x_i)+\beta d(S,x_i)+(d-\alpha -\beta )R(S,x_i)$

7. Active Universal Domain Adaptation

1. Transferability: 这个是特定Universal任务设计的需求

• 将unlabeled样本先剔除一部分，使用kmeans留下target domain中私有的类别样本

2. uncertainty and diversity: 通过计算样本的 gradient embedding的范数(使用下面一篇论文的方法)，梯度范数越小表示分类可信度越高，范数越大表示分类可信度越低

8. Deep batch active learning by diverse, uncertain gradient lower bounds

1. uncertainty: 计算样本对于最后一层线性层梯度的范数，将此作为选择的score(选大)
   • 范数越大: 样本不确定性越大，范数越小：样本不确定性越小
   • $score(x)=g_x=\frac{\partial }{\partial {\theta }_{out}}{l}_{CE}(f(x;\theta ),\hat{y}(x)){|}_{\theta ={\theta }_t}$
2. diversity: 通过k-MEANS++算法，尽量选择类别不同的样本

疑问: 是根据uncertainty和k-MEANS++哪个先用

9. A new active labeling method for deep learning

1. uncertainty: 这篇作者虽然提出了3个选择方法，但是也只是根据uncertainty来选择样本
   • least confidence(LC): 选择样本softmax分类最大的值作为score(选小)
     • score($x_i^{(}LC)$) = $\underset{x_i}{\mathrm{argmin}}{\max }_j(p(h_j^N|x_i))$
   • margin sampling(MS): 使用softmax分类的最大概率-第二大概率作为score(选小)
     • $score(x_i^{MS})=\underset{x_i}{\mathrm{argmin}}(p(y_1|x_i)-p(y_2|x_i))$
   • entropy(Entropy): 使用softmax的熵作为score(选大)
     • $score(x_i^{Entropy})$=$\underset{x_i}{\mathrm{argmax}}-{\sum }_{j}p(h_j^N|x_i)\log p(h_j^N|x_i)$

10. Active learning for convolutional neural networks: A core-set approach

作者这里每次选择一批数据，将选数据看做选一个核心子集问题：选择一个子集使模型在这上面的训练效果尽可能接近模型在完整训练集上的训练效果。

1. 每次选择b个数据，策略：每一次选择与当前有标签数据点距离最远的那个无标签数据，并把它加入到有标签数据中，选择b次。同时选b个是NP问题，这里使用贪心方法一个一个选
   • selected $u=\underset{i\in [n]\backslash s}{\mathrm{argmax}}{\min }_{j\in s}\Delta (x_i,x_j)$

思考: 感觉和第6篇一样，只考虑了distinctiveness，没有考虑其他的

11. Multi-class active learning for image classification

1. BvSB(margin sampling): 使用softmax分类的最大概率-第二大概率作为score(选小)
   • $score(x_i^{MS})=\underset{x_i}{\mathrm{argmin}}(p(y_1|x_i)-p(y_2|x_i))$

总结

1. 每个选择策略的目的
   • uncertainty: 选择易分类错误的样本，为了优化分类边界
   • diversity: 为了避免选择重复的样本
   • dissimilar/distinctiveness/Representativeness: 选择的样本能够代表target任务
   • domainness: 一个样本是否是domain难分的
2. 每种策略的方式
   • uncertainty: margin, entropy, confidence, 多个分类器, 梯度大小,
   • diversity: IWERM, K-Means, 计算$x_i$和集合$S$的散度
   • distinctiveness: 论文4和6都是一样的，本质上选离source中心远的样本点
   • domainness: 使用class uncertainty的方式来处理