AIGCer的博客

解决的问题现有的基于UNet的高分辨率图像编辑方法在实现形状感知的对象编辑方面仍存在不足。相比之下，Diffusion Transformers (DiT) 能更有效地捕捉图像块之间的长程依赖关系，但目前在图像编辑领域的应用仍较少。提出的方案本文提出了基于Diffusion Transformers的首个图像编辑框架——DiT4Edit。DiT4Edit采用DPM-Solver反演算法来获取反演隐变量，与传统UNet框架常用的DDIM反演算法相比，显著减少了迭代步数。

现有的2D视觉生成已取得显著进展，但3D和4D生成在实际应用中仍然面临挑战，主要由于缺乏大规模4D数据和有效的模型设计。

解决的问题RAR（随机自回归建模）旨在提升图像生成任务的表现，同时保持与语言建模框架的完全兼容性。提出的方案RAR采用了一种简单的方法，通过标准的自回归训练过程并结合下一个 token 预测目标，将输入序列随机打乱到不同的分解顺序。在训练过程中，使用概率 r 将输入序列的排列顺序随机化，其中 r 从 1 开始并逐渐线性衰减至 0，以让模型学习所有分解顺序的期望似然值。应用的技术。

解决的问题传统的直接偏好优化（DPO）方法依赖大量人工标注的数据集来对文本生成图像（T2I）模型进行对齐，但这种方法成本高昂，且数据容易过时，难以适应T2I模型快速提升的需求。提出的方案本研究提出一种完全合成的数据集收集方法，用于DPO训练。通过预训练的奖励函数生成成对图像的偏好数据，替代人工标注，极大地提升数据集的收集效率。同时，引入RankDPO方法，通过排名反馈增强DPO训练，提升模型的偏好学习效果。应用的技术。

现有的视频定制生成方法需要在测试时进行复杂的微调，且难以平衡主体学习与运动控制，限制了其在实际应用中的效果。

本文探讨了在视觉领域，特别是文本生成图像任务中，扩大自回归模型并不像在大语言模型中那样有益的现象。具体关注了以下两个关键问题：模型使用离散还是连续的token。模型在生成token时，使用随机顺序还是固定顺序（基于BERT或GPT的Transformer架构）。通过实验对比不同模型，研究模型在使用离散或连续token，以及在随机顺序或光栅顺序生成时的表现。基于实验结果，提出了一种新的模型——Fluid，该模型使用随机顺序的自回归生成方式，并基于连续token进行训练。使用BERT和GPT。

解决的问题离散扩散模型虽然在图像生成和mask语言建模等任务中取得了成功，但在精确控制内容编辑方面存在局限性。当前方法无法实现对离散数据的灵活编辑和准确重构。提出的方案提出了DICE（可控编辑的离散反演），这是首个针对离散扩散模型（包括多项扩散和mask生成模型）的精确反演方法。DICE通过记录在反向扩散过程中的噪声序列和mask模式，实现了无需预定义mask或注意力操作的精确重构和灵活编辑。应用的技术。

如何利用去噪扩散模型进行高质量的图像生成和编辑。系统地分类和评估扩散模型在图像编辑中的应用。

解决的问题现有的多模态大模型（MLLMs）在视觉内容生成方面没有充分解决不同图像生成任务对粒度的需求差异，尤其是从文本到图像生成的多样性需求以及图像编辑中的精确可控性。提出的方案提出了一种名为PUMA（emPowering Unified MLLM with Multi-grAnular visual generation）的模型，旨在通过统一多粒度视觉特征作为MLLMs的输入和输出，优雅地解决不同任务的粒度需求。应用的技术。

机器人操作策略在面对新任务时，往往难以处理未见过的物体类型和新动作。由于机器人数据采集成本高，如何实现操作策略的泛化是一个关键挑战。给定由图像指定的场景和用文本描述的任务目标，我们希望机器人操作系统执行一系列动作来完成任务。为在未知场景中实现这一目标，我们从网络视频数据中学习运动预测信息，形成视频预测模型，该模型能够零样本生成任务的人类视频。为了将生成的视频转化为机器人动作，我们训练了一个闭环策略，该策略基于视频和最后次机器人观测进行条件判断，通过行为克隆对一个小规模机器人交互数据集进行训练。

值得注意的是，它可以生成符合指定轨迹的高质量视频，最高可达204帧，分辨率为720p。从GitHub 上的 README 文件来看，由于阿里目前的商业使用计划，当前开放的是文生视频版本的Tora。未来，阿里团队计划推出 ModelScope 的试用 demo、训练代码以及完整版本的 Tora，以满足更多用户的需求，这无疑将推动文生视频技术的进一步发展。尤其值得注意的是，当文本提示中的对象与预设轨迹明显不太可能匹配时，Tora 动态地调整物体的局部运动，确保其整体运动仍然符合自然规律，并保持视觉的一致性。

生成高质量图像和视频的扩散模型面临高维度学习的计算和优化挑战，尤其是在处理高分辨率图像时。

引入了LOKI基准，以全面评估LMMs在区分合成数据上的表现。全面模态评估。收集了近期热门合成模型生成的高质量多模态数据，涵盖视频，图像，3D数据，文本，音频等多个模态。异构数据覆盖。数据集中包括28个不同模态的细致分类，包括有专业的卫星，医学等图像，哲学，文言文等文本作品，环境音，音乐等音频。多层次标注。基准包括了生成/真实标签，可用于判断题，多选题等基础问题设置。还包含了细粒度异常注释，可用于原因解释等探究LMMs在可解释合成数据检测方面的题目。多模态合成数据评测框架。

现有的扩散模型（如RPG、Stable Diffusion 3 和 FLUX）在生成组合性图像时各有所长，有的擅长属性绑定，有的则在空间关系上表现更好。然而，这些模型无法全面解决组合性生成的多方面需求，缺乏一种能够综合各模型优势的方法。1. 如何提取不同模型在各自领域的优势，并引导模型进行有效学习？针对该问题，我们首先构建了模型库（model gallery)，其包含多种在不同方面表现出色的模型，每个模型都具备特定的组合生成偏好（composition-aware model preference）。

文章链接：https://arxiv.org/pdf/2409.13648 Github链接：https://authoritywang.github.io/v3/亮点直击提出，一种通过流式传输高质量Gaussian Splatting来支持在普通设备上渲染全息影像的新方法。展示了一种紧凑的动态高斯表示，将高斯属性嵌入到2D高斯视频中，以便于硬件视频编解码器的使用。提出了一种高效的训练策略，通过运动-外观解耦、残差熵损失和时间损失来保持时间连续性。提出了多平台全息影像播放器，支持实时播放和流媒

PhyGenBench 的目的是评估 T2V 模型是否理解物理常识，而 PhyGenBench 中的每个提示都展示了一个明确的物理现象及其背后的物理定律。讨论了一些常用手段是否可以解决PhyGenBench中所提出的问题，具体来说，讨论了Prompt Engineer（使用GPT rewrite prompt），Scaling Law，以及提高video general quality是否可以解决PhyGenBench中的问题（具体来说，提高VBench上的表现和PhyGenBench的关系）。

具体来说，提出了一种新颖的合成配对数据生成机制，新的完全并行架构结合了三个文本编码器和一个可训练的视觉编码器，以优化身份保留和文本对齐，以及一种新颖的由粗到细的多阶段微调方法，旨在逐步增强视觉吸引力，从而推动生成图像的视觉吸引力边界。在这种设置下，通过训练，网络学习如何在生成提示引导的图像背景时，将参考图像映射到群体照片中的对应主体。对于控制方法，本文注意到姿势图像的选择对最终生成图像的构成起着重要作用，即对于某些提示，精心选择的姿势图像可以使生成的图像更好或更差。消融结果突出显示了多阶段微调的影响。