【扩散模型应用方向】

参考：CVPR 2024 | 绝了！！最新 diffusion 扩散模型梳理！100+篇论文、40+研究方向！

一文读懂扩散模型原理、推断加速和可控生成

扩散模型应用方向目录
1、扩散模型改进

2、可控文生图

3、风格迁移

4、人像生成

5、图像超分

6、图像恢复

7、目标跟踪

8、目标检测

9、关键点检测

10、deepfake检测

11、异常检测

12、图像分割

13、图像压缩

14、视频理解

15、视频生成

16、倾听人生成

17、数字人生成

18、新视图生成

19、3D相关

20、图像修复

21、草图相关

22、版权隐私

23、数据增广

24、医学图像

25、交通驾驶

26、语音相关

27、姿势估计

28、图相关

29、动作检测/生成

30、机器人规划/智能决策

31、视觉叙事/故事生成

32、因果生成

33、隐私保护-对抗估计

34、扩散模型改进-补充

35、交互式可控生成

36、图像恢复-补充

37、域适应-迁移学习

38、手交互

39、伪装检测

40、多任务学习

41、轨迹预测

42、场景生成

43、流估计-3D相关
————————————————
二十三、数据增广

74、SatSynth: Augmenting Image-Mask Pairs through Diffusion Models for Aerial Semantic Segmentation

在最近几年中，语义分割已成为处理和解释卫星图像的关键工具。然而，监督学习技术的主要限制仍然是需要专家进行大量手动标注。本研究探索使用生成图像扩散来解决地球观测任务中标注数据稀缺性的潜力。主要思想是学习图像和标签的联合数据流形，借助于最近在去噪扩散概率模型中的进展。

本文自称是第一个为卫星分割生成图像和相应掩膜的工作。获得的图像和掩膜对不仅在细粒度特征上具有高质量，而且确保了广泛的采样多样性。这两个方面对于地球观测数据至关重要，因为语义类别在尺度和出现频率上可能有严重变化。将新的数据实例用于下游分割，作为数据增强的一种形式。

实验与基于辨别性扩散模型或GAN的之前的工作进行比较。证明整合生成样本可以显著改善卫星语义分割的定量结果，不仅与基线相比，在仅使用原始数据进行训练时。

75、ImageNet-D: Benchmarking Neural Network Robustness on Diffusion Synthetic Object

本文为视觉感知鲁棒性建立了严格基准。诸如ImageNet-C、ImageNet-9和Stylized ImageNet之类的合成图像提供了针对合成破坏、背景和纹理的特定类型评估，然而这些鲁棒性基准在指定的变化以及合成质量方面受到限制。这项工作引入生成模型作为用于合成检测深度模型鲁棒性的数据源。

借助扩散模型，生成具有比任何以前的工作更多样化的背景、纹理和材料的图像，将这个基准称为ImageNet-D。实验结果显示，ImageNet-D对于一系列视觉模型，从标准的ResNet视觉分类器到最新的基础模型如CLIP和MiniGPT-4，都导致了显著的精度降低，最高可降低60%。工作表明，扩散模型可以成为测试视觉模型的有效数据源。https://github.com/chenshuang-zhang/imagenet_d
————————————————