[6]2020-WACV-Adversarial Sampling for Active Learning论文笔记

一. 摘要（Abstract）

1. 贡献（Contribution）

提出ASAL框架

• 第一个基于GAN的AL用于分类，随机采样表现突出；
• 时间复杂度小（次线性）。

二. 引言（Introduction）

1. 基于pool的AL

• $训练上界$ -》全监督模型（把所有样本用于train）。
• $训练下界$-》随机采样模型。

2. 主动学习的目标

• 用尽可能少的样本逼近全监督模型性能；
• 超过随机采样模型性能。

三. 相关工作（Related work）

四. 提出ASAL（Proposed Adversarial Sampling for Active Learning）

• ASAL结构
  

1. Adversarial Sample Generation using GANs

• 提前用数据集训练GAN
  输入：隐含变量z，输出x。
• sample generation的优化问题（$不懂该表达式的意思$）
  $$maximize(H\circ h_{{\theta }^k})(x)$$
  其中：
  $x=G(z)$
  $H(q)=-\sum _{i=1}^{M}p(c=i|q)log[p(c=i|q)]$
  $m$：种类数；

2. 样本匹配（Sample Matching）

• 定义
  对比真实样本和特征空间中生成的合成样本，检索出最接近的匹配。
• $特征提取器$（Feature Extractors）
• 有效的特征匹配（Sufficient Feature Matching）
  (1) x = { p i ∈ P ∣ i = a r g m i n f ∈ S d ( f , F P C A ( x ~ ) ) } x=\{p_i\in P|i=\mathop{argmin}\limits_{f\in S}d(f, F_{PCA}(\tilde x))\} x={pi​∈P∣i=f∈Sargmin​d(f,FPCA​(x~))}
  其中：
  主成分分析（PCA:Principal Component Analysis）：$F_{PCA}(x)=PCA(F(x)-u),u=\frac{1}{|X|}\sum _{x\in X}F(x)$；
  欧氏距离（Euclidean Distance）：$d(f_1,f_2)=||f_1-f_2|{|}_2$；
  S = { F P C A ( x ) ∣ x ∈ X } S=\{F_{PCA}(x)|x\in X\} S={FPCA​(x)∣x∈X}（在训练AL前可以计算处理）；
  $P$：有标记样本池（pool）。
  

五. 实验（Experiments）

1. 数据集（Dataset）

名称	训练集	验证集（validation）	测试集	图像大小	其他
MNIST	50K	10K	10K	28*28	标签分布不均匀，灰度像素。
CIFAR-10	50k	10K	用验证集进行测试	32*32	标签均匀分布，彩色图像。
CelebA	160K	20K	20K	64*64	彩色图像，还有一个清单：每幅图像是否存在40个人脸属性信息。
SVHN	73K		26K	32*32	彩色图像，使用训练集和531k额外的图像构建AL的pool。
LSUN	10M			64*64	标签分布不均匀，彩色图像。

2. 实验设置（Experimental Settings）

六. 实验结果（Results）

1. 线性模型（Linear Models）

2. CNN（Convolutional Neural Network）

3. Comparison between ASAL, GAAL and ADBA

4. 讨论（Discussion）

5. Timing