NZR的blog

在这项工作中，我们提出了一个概念上简单和有效的方法来训练一个强大的双语/多语言的多模态表示模型。设计一个预训练好的多语言文本编码器——XLM-R来替代CLIP中的文本编码器，并通过一个两阶段的训练模式——教师学习和对比学习来对齐语言-图像表示。我们在一系列任务上设置了最先进的性能，包括ImageNet-CN、Flicker30kCN、COCO-CN和XTD。此外，我们与CLIP在几乎所有任务上都获得了非常接近的性能，这表明人们可以简单地改变CLIP中的文本编码器，以扩展功能，如多语言理解。

合成满足用户需求的视觉内容通常需要对生成对象的姿态、形状、表达和布局的灵活性和可控性有着一定的要求。现有的方法是通过手动标注的训练数据或先前的三维模型来获得生成对抗网络（GANs）的可控性，这些方法往往缺乏灵活性、精度和通用性。在这项工作中，我们研究了一种强大但浅探索的控制GANs的方法，即“拖动”图像中的任何点，以用户交互的方式精确到达目标点，如图1所示。图1。DragGAN允许用户“拖动”任何GAN生成的图像的内容。

主题驱动的文本-图像生成模型创造出了一个基于文本提示的输入主题的新展现。现存的模型有着微调时间长、主题保存性不强的问题，基于此提出了BLIP-Diffusion模型，它支持多模态控制，并且使用主题图像和文本提示作为输入。与其他工作不同的是，它引入了一个新的、预训练好的、能提供主题嵌入的多模态编码器。我们首先follow BLIP-2来预训练 视觉编码器；接着，我们设计了一个主题表示学习任务，使扩散模型能够利用这种视觉表示生成新的主题呈现。

NerLTR-DTA: drug–target binding affinity prediction based on neighbor relationship and learning to rank