Cost-effective training of deep CNNs with active model adaptation

KDD2018，作者：Sheng-Jun Huang, Jia-Wei Zhao, Zhao-Yang Liu
将论文中的主要算法流程翻译过来，方便以后使用
注：这不是标准的算法流程，为了方便，将算法中的公式直接写入到流程中了。
ADMA算法流程：
输入：
$U$: 实例$n_u$的无标签数据集
$M^0$：预训练模型
$A$：特征训练的初始化层的层号
$B$：特征训练的最终层的层号
$Z$：在原任务中用来训练 模型 $M^0$的数据集
初始化：
找到数据集$Z$中$k$类的每一类的中心$C=c_1,...,c_k$ ；
得到$c_k^A$和$c_k^B$：在层$A$和$B$时$c_k$ 的输出
根据等式计算 $S_C^A$ 和$S_C^B$的值，公式如下：
$S_C^A=\left[\begin{array}{cccc}{S}_{c_1}^A& S_{c_2}^A& ...& S_{c_k}^A\end{array}\right]=\left[\begin{array}{cccc}{\Vert \begin{array}{c}{c}_1^A-c_1^A\end{array}\Vert }^2& {\Vert \begin{array}{c}{c}_2^A-c_1^A\end{array}\Vert }^2& ...& {\Vert \begin{array}{c}{c}_K^A-c_1^A\end{array}\Vert }^2\\ {\Vert \begin{array}{c}{c}_1^A-c_2^A\end{array}\Vert }^2& {\Vert \begin{array}{c}{c}_2^A-c_2^A\end{array}\Vert }^2& ...& {\Vert \begin{array}{c}{c}_K^A-c_2^A\end{array}\Vert }^2\\ ...& ...& ...& ...\\ {\Vert \begin{array}{c}{c}_1^A-c_K^A\end{array}\Vert }^2& {\Vert \begin{array}{c}{c}_2^A-c_K^A\end{array}\Vert }^2& ...& {\Vert \begin{array}{c}{c}_K^A-c_K^A\end{array}\Vert }^2\end{array}\right]$
计算 $S^{A\to B}=S_C^A-S_C^B$
重复：
$Foreachinstancex\in U$
\quad 得到$x_k^A$和$x_k^B$的值：即$x$在$A$和$B$层的输出
\quad 根据公式计算$S_x^A$和$S_x^B$的值，公式如下：
$s_x^A=\left[\begin{array}{c}{\Vert \begin{array}{c}x-c_1^A\end{array}\Vert }^2\\ {\Vert \begin{array}{c}x-c_2^A\end{array}\Vert }^2\\ ...\\ {\Vert \begin{array}{c}x-c_K^A\end{array}\Vert }^2\end{array}\right]$
\quad 计算$S_x^{A\to B}=S_x^A-S_x^B$
\quad 根据加权和$S_C^{A\to B}$计算${\hat{S}}_x^{A\to B}$
\quad 计算样本独特性$Distinctiveness(x)=\frac{1-\tau \left(S_x^{A\to B},{\hat{S}}_x^{A\to B}\right)}{2}$
\quad 根据公式计算样本的不确定性，（信息熵）公式如下：
$Uncertainty(x)=-{\sum }_{K^{{}^{\prime }}=1}^{K^{{}^{\prime }}}p\left(M\left(x\right)=k^{{}^{\prime }}\right)\cdot \left(1-p\left(M\left(x\right)=k^{{}^{\prime }}\right)\right)$
其中，$M$是当前的模型，$p\left(M\left(x\right)=k^{{}^{\prime }}\right)$是$x$基于模型$M$预测的属于类别$k^{{}^{\prime }}$的可能性
\quad 根据公式计算评判的标准分数，公式如下：
$score(x)=(1-\lambda \cdot t)\cdot distinctiveness(x)+\lambda \cdot t\cdot uncertainty(x)$
其中，$t$是迭代次数
$Endfor$
从$U$ 中选择具有最大分数的一批数据$Q$
查询$Q$的标签，并且将$Q$从$U$中移除
使用已经查询到标签的数据微调模型$M^{t-1}$ 得到模型$M^t$
直到达到查询预算（query budget)或者期望效果(expected performance)
注：计算 ${\hat{S}}_x^{A\to B}$的公式：
$S_{c_k}^{A\to B}=S_{c_k}^A-S_{c_k}^B$
我们尝试通过x线性特征联合
${\hat{S}}_x^{A\to B}={\sum }_{k=1}^K{\alpha }_k(x)\cdot S_{c_k}^{A\to B}$
${\alpha }_k(x)$是第k个中心的权重，就是在原模型上x属于k类的概率
${\alpha }_k(x)=p(M^0(x)=k)$