解藕表征阅读

【cvpr2022-Decoupled Knowledge Distillation】

使用teacher网络（比student更深）学习到的知识，对学生学习到的知识做一个监督
之后的工作使用中间特征监督

这篇工作发现之前KD的方法，使用最后的logits性能被限制住？

【可解释解耦表征中的位置与内容假设】

• 无监督的解藕表示
  
  使用无监督的学习方式，在无标签的数据上，学习到一个解藕表示，这种解藕表示的特点在于 每一维数据集上有语义的表示表示模式
  
  
  一张图片 可以由z0 鹅位置 z1鹅数量。。
  控制解藕表征，生成一些数据集中没有的表征
  
  

解耦就是将一个对象分解为各自独立的因素。不同的因素控制不同的结果，一个因素只控制一个结果的改变。解耦表征，也就是找出对象特征里的可解释因子，从而对高维的数据产生有意义的理解。
非监督解耦认为，现实世界的数据是由一些可解释的独立因子不同组合产生的，可以通过非监督学习的方式找到这些独立因子。如在Shapes3D数据集中，每个图像由六个独立因子控制，分别是：物体形状、物体大小、相机角度、地板颜色、墙壁颜色，物体颜色

在18年时，谷歌DeepMind团队对 Disentangled Representations 进行了一个定义，即：表示向量空间中的不变子空间（invariant subspaces）是独立表示的。这样就可以去发现数据中的一部分特征对结果恒定的表征

Bengio
单个潜在单元对单个生成因素的变化敏感，而对其他因素的变化相对不变
（Single latent units are sensitive to changes in single generative factors, while being relatively invariant to changes in other factors.）
‘将特征表示分解成多个互相独立的因素’（‘在满足一定条件的数据集上，将特征表示中的变化因素 (variation factors) 分解出来，这些变化因素彼此相互独立，且每个变化因素都代表一定的物理 or 语义含义当单个变化因素变化时，会影响生成数据中单个因素变化，而其他因素保持不变。(并不是所有的数据集、模型都能进行解耦表征学习)(并不是所有的因素都能被解耦出来，需是数据集中的某些变化因素)’）

ref：
https://www.bilibili.com/video/BV1by4y1t7pospm_id_from=333.337.search-card.all.click&vd_source=d669ed1a1e82cc94c400d22504e42d08
https://zhuanlan.zhihu.com/p/393322867
https://zhuanlan.zhihu.com/p/399286095
https://blog.csdn.net/qq_39478403/article/details/121107057