[2]2019-CVPR-Learning Loss for Active Learning 论文笔记

一.摘要（Abstract）

1. 动机（Motivation）

• 用于深度网络的多数主动学习方法要么太具有特性（该AL方法是为该目标任务而具体设计的，不能轻易迁移到其他任务中），要么计算性能低（网络深/大）。

2. 贡献（Contribution）

• 提出“loss predict module”，将该模块视为目标网络，训练该模块，使其能预测无标记输入的目标损失。

二.引言（Introduction）

• 主动学习query样本的核心思想：挑选信息量大的样本（对提升模型性能越有用）。
• 作者提出的”loss prediction module“方法的优势：
  a. 简单（simple）;
  b. 与具体任务无关（task-agnostic）;
  c. 在深度网络中性能表现好（perform well）。
• 本文提出的”loss prediction module“的工作原理：预测每个样本的损失，high loss的样本信息量越大，越应该被query。（$为什么选的是高loss样本？$A：loss越高，不确定性越高。）
• loss prediction module 框架

三.方法（Method）

1. 概述（Overview）

a. 初始化

• target模块：${\Theta }_{target}^0$；
  作用：$\hat{y}={\Theta }_{target}(x)$
• loss prediction 模块：${\Theta }_{loss}^0$；
  作用：$l={\Theta }_{loss}(h)$，$h$为target模块隐藏层中提取的特征集合。
• 均匀分布选$K$个标记样本$⟹L_K^0$;
• 余$N-K$个未标记样本$⟹U_{N-K}^0$;

b. 训练

• Θ t a r g e t i ⟶ Θ t a r g e t i + 1 \Theta_{target}^{i}\longrightarrow \Theta_{target}^{i+1} Θtargeti​⟶Θtargeti+<