论文调研——23.2.28

主要是因为chatgpt出现之后，NLP方向的小论文有点没底。调研下，找找方向。

Diffusion Models: A Comprehensive Survey of Methods and Applications

扩散模型diffusion model,是在图像生成方向比较火的一个模型，但是采样比较困难，而且算是重新训练的预训练的那种模型。
在NLP中感觉用的还不是很多，有一篇文章是用在文生图上，是控制图片的生成。
这篇文章是一篇综述 文献时间都非常新，在21-22年间的论文不在少数。
看了在NLP方向可能的发展方向：（主要是用于控制文本生成）
众多基于扩散模型的方法已被开发用于文本生成。离散去噪扩散概率模型（D3PM）[6]介绍了用于字符级文本生成的扩散类生成模型。
控制语言模型的行为而不重新训练是文本生成中的一个主要和重要问题[43, 117]。尽管最近的方法在控制简单的句子属性（如情感）方面取得了重大的成功[127, 263]，但在复杂的、细粒度的控制（如句法结构）方面却没有什么进展。为了解决更复杂的控制，Diffusion-LM[141]提出了一个基于连续扩散的新语言模型。Diffusion-LM从一连串的高斯噪声向量开始，逐步将其去噪为对应于单词的向量。逐步去噪的步骤有助于产生分层的连续潜在表征。这种分层和连续的潜变量可以使简单的、基于梯度的方法完成复杂的控制。Analog Bits[32]生成模拟位来表示离散变量，并通过自我调节和不对称的时间间隔进一步提高样本质量。DiffuSeq[88]提出了一个新的条件扩散模型来完成更具挑战性的文本生成任务
在Robust learning上可能的方向：增强模型的鲁棒性
稳健学习是一类防御方法，帮助学习网络对对抗性扰动或噪声具有稳健性[16, 168, 179, 240, 248, 270]。虽然对抗性训练[157]被视为图像分类器对抗对抗性攻击的标准防御方法，但adversarial learning 作为一种替代的防御方法[270]显示出显著的性能，它通过独立的净化模型将受攻击的图像净化成干净的图像。给定一个对抗性的例子，DiffPure[168]按照前向扩散过程将其与少量的噪声扩散，然后用反向生成过程恢复干净的图像。Adaptive Denoising Purification——自适应去噪净化（ADP）[270]证明了用去噪分数匹配[238]训练的EBM可以在短短几步内有效地净化受攻击的图像。它进一步提出了一个有效的随机净化方案，在净化前向图像注入随机噪声。Projected Gradient Descent——投射梯度下降（PGD）[16]提出了一种新颖的基于随机扩散的预处理鲁棒化，其目的是成为一种模型无关的对抗性防御，并产生高质量的去噪结果。此外，一些作品提出应用引导扩散过程进行高级对抗性净化[240, 248]。