Deepfake idea

Motivation

• 考虑语义信息，在弱监督信息中尽可能挖掘有效信息；
• 一种更贴近实际的实验设定；
• 在更为精确的数据集上时(标注成本较高，比如为CUB200种鸟类标注，需要很高的专业知识水平，此时应用CLL)，反标记监督信息更为有用：
  e.g. 鸟类识别任务：给定一张鸟类图片：1.被告知不是汽车，2.被告知不是麻雀。显然2的信息更有用，更符合CLL问题初衷。

其他

1. 自监督学习：根据置信度设置伪标签，提供监督信息
2. 对比学习：反标签$\to$负样本

Semantic information

• related work:

1. 模糊度
   
   Progressive Identification of True Labels for Partial-Label Learning

• 零样本学习
  语义信息作为类原型，寻找合适映射

2. 插入属性空间S
   

• An embarrassingly simple approach to zero-shot learning*

3. SAE(semantic automatic encoder)
   

4. 【!】DeViSe
   

(感觉可以尝试！将hinge rank loss 反过来排序)

Data

1. original setting
   除去真实标签，等概率抽取反标签
2. new setting(先搁置，首先根据其他文献的original setting得到的数据集做，便于比较、有说服力)
   除去真实标签，考虑语义距离地抽取反标签

Loss functions

• Idea

1. $loss=los{s}_{CLL}+\lambda \frac{1}{Dist(f(x),\bar{y})+1},\text{where}Dist(f(x),\bar{y})\in [0,1]$
   $\lambda$选取：
   a) 常量，通过试验确定
   b) 变量
   c) 分段函数，引入阈值$\alpha$
   λ = { λ , D i s t ( f ( x ) , y ˉ ) ≤ α , 0 , Otherwise . \lambda=\{ \begin{aligned} \lambda& , & Dist(f(x), \bar{y}) \leq \alpha, \\ 0& , & \text{Otherwise}. \end{aligned} λ={λ0​,,​Dist(f(x),yˉ​)≤α,Otherwise.​
   (当预测类别标签$f(x)$与给定反标签$\bar{y}$距离很小时应该比较敏感)
   (MCLL :$mi{n}_{y_i\in \bar{Y}}Dist(f(x),{\bar{y}}_i)\le \alpha$)
2. $loss={\sum }_{i=1}^l\frac{1}{Dist(f(x),\bar{y})+1}los{s}_{CLL}(f(x_i),{\bar{y}}_i)$
   将距离函数作为一个置信度，预测标签与反标签距离越小置信度越低
3. 放弃以上损失框架(或者也是加和)，hinge rank loss中将向量相似度换为距离函数？
   

• Related work

1. 非对称结构 （PLL）：$loss=los{s}_{\text{补标签集}}+\beta los{s}_{\text{反标签集}}$
   系数 $\beta$选取：离散 $\to$连续（PLL）
   
   “Leveraged Weighted Loss for Partial Label Learning”

• 类似的 （CLL）：$loss=los{s}_{\text{反标签集}}+\beta {\sum }_{数据增强样本集}los{s}_{\text{补标签集}}$
  
  
  
  系数$\beta$通过实验一开始要小后面要大$\to$动态递增变化(0到1)
  Partial-Output Consistency Regularization

Model

• 普通CNN模型
• GAN
  目前只有一篇代码可用 TAC-GAN