论文阅读笔记

---

更新日记：
2022/9/5创建文章
2022/9/17 contrastive learning论文5
2022/11/3 domain adaptation论文6
2022/11/5 domain adaptation论文7、8
2023/2/16 迁移学习综述论文9

一、论文总结

1. Remote Sensing Image Fusion With Deep Convolutional Neural Network Shao, Zhenfeng, and Jiajun Cai. IEEE journal of selected topics in applied earth observations and remote sensing,2018(PDF)(Citations 209)
  (1)本文基于深度学习提出了一种图像融合网络，值得注意的是它在网络中的特征结合的方式，它将多光谱和高分辨率特征Concat后，利用残差结构完成了特征融合，最终得到高分辨率的多光谱影像。

  (2)利用了GHIS的结论：高分辨率与低分辨率多光谱影像之间存在必要信息的掩码。

2. 地块尺度的山区耕地精准提取方法 周楠，杨鹏. 农业工程学报,2021
  (1)多任务学习的网络结构，两个loss，同时训练。

3. St++: Make self-training work better for semi-supervised semantic segmentation Yang L, Zhuo W, Qi L, et al. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,2022(PDF)(Citations 8)
  (1)半监督语义分割中的自训练：训练Teacher模型，通过T模型得到硬伪标签，在所有标签上重新训练得到Student模型。
  (2)ST：针对于伪标签，增加强数据增强法，如对比度变换、随机裁剪等。
  (3)ST++：相比于ST，对伪标签进行过滤，作者认为简单的样本在模型训练的初始阶段便能被正确识别，于是通过计算不同训练阶段图像块的平均mIoU，并认为分数越高的伪标签越可靠。然后再用学生模型，重新标记剩余的不可靠样本，完成第二次自训练。
  (4)强数据增强的有效性：

  (5)迭代次数的影响：

4. Land-cover classification with high-resolution remote sensing images using transferable deep models Xin-Yi Tong Remote Sensing of Environment,2020(PDF)(Citations 267)
  (1)以某像素为中心的多尺度输入，输入前所有尺度的尺寸调整一致，输出前按照策略进行加权。

5. Global and Local Contrastive Self-Supervised Learning for Semantic Segmentation of HR Remote Sensing Images Haifeng Li IEEE Transactions on Geoscience and Remote Sensing,2022(PDF)(Citations 16)
语义分割的监督学习需要大量的标记样本，这在遥感领域很难获得,自监督学习 (SSL)是使用大量未标记图像预训练通用模型，然后在具有极少标记样本的下游任务上对其进行微调。
  (1)遥感影像的新对比学习范式，引入了全局对比特征和局部对比特征；
  (2)对某样本进行t1、t2的数据增强，并用concat(通道均值，通道方差)来表示它们的特征，希望它们的特征尽可能Similar；

  (3)局部对比特征，即随机在t1中找个patch，然后在t2里找到对应patch，要求中心像素相同的patch特征尽可能相似，中心像素不同的patch特征尽可能不相似；

6. Category Contrast for Unsupervised Domain Adaptation in Visual Tasks Jiaxing Huang CVPR,2022(PDF)(Citations 10)
这篇文章将instance contrastive learning的思维应用到unsupervised domain adaptation中，从target domain中选择query，并混合target和source domain得到key，很好的解决跨领域难题。此外，运用了伪标签的不确定性分配温度系数步骤如下：
  (1)首先用labeled data(source domain)训练一个encoder和classifier；
  (2)然后再用如图所示的模型去微调encoder，可惜没找到源码；

文章总结了anchor(query)的生成策略：①建立memory bank，存储上个epoch的所有sample；②从mini-batch生成；③采用momentum encoder，即时编码。

文章总结了unsupervised domain adaptation的无监督loss：①adversarial loss:enforce source-like target representations；②image translation loss:translate source image to target-like styles or appearance；③self-training loss：用伪标签迭代retrain networks

7. Phase Consistent Ecological Domain Adaptation Yanchao Yang CVPR,2020(PDF)(Citations 72)
这篇文章提了这样一个结论：傅里叶变换amplitude的变化会改变图像，但不会影响图像的解释，而phase的改变会产生难以解释的图像，即phase装载语义信息，amplitude装载style信息。

  (1)仅仅通过maximize域混淆来minimize两个域的KL散度是不够的，并没有语义的匹配(源中的i类图像可以映射到目标中的j类图像)，所以通过下式minimize x and T(x) 的phase差异，从而保证T变换保留语义信息；   (2)进一步理解变换导致的语义丧失。第1、2行，天空变了，第3行，建筑物变成了树。

8. Generative Domain Adaptation for Face Anti-Spoofing Q Zhou ECCV,2022(PDF)(Citations 4)
这篇文章通过target domain images translate to source-style images，完成unsupervised domain adaptation，且只需要更新Generator模块的参数。好像还不需要伪标签？

  (1)传统UDA在高维特征对齐，Ours通过translate的方式，规避了传统方法因target data没有标注，会影响模型性能这一问题；   (2)作者认为低级特征也很重要，于是在DSC及NSC模块里分别实现了：转换前后语义特征一致性、转换后与source image的统计特征差异小(mean,std)；

  (3)SpecMix：数据增强，提高unseen target domain泛化性（遥感领域里似乎不需要？）；DSC：保证语义信息不变；NSC：缩小域的差异。

9. Transferability in Deep Learning: A Survey Junguang Jiang ？,2022(PDF)(Citations 13)
从Pre-Training；Task Adaptation；Domain Adaptation三个角度做了阐述，可见2月10日汇报。