AIGCer的博客

PhyGenBench 的目的是评估 T2V 模型是否理解物理常识，而 PhyGenBench 中的每个提示都展示了一个明确的物理现象及其背后的物理定律。讨论了一些常用手段是否可以解决PhyGenBench中所提出的问题，具体来说，讨论了Prompt Engineer（使用GPT rewrite prompt），Scaling Law，以及提高video general quality是否可以解决PhyGenBench中的问题（具体来说，提高VBench上的表现和PhyGenBench的关系）。

总之，本报告全面探讨了SORA类模型在高质量视频生成中的应用，涵盖了T2V、I2V和V2V任务。通过设计一系列详细的提示和案例研究，系统地评估了这些模型在各种场景中的进展、挑战和潜在应用。分析突显了视频生成领域所取得的显著进展，尤其是在视觉质量、运动自然性和动态性以及视觉-语言对齐方面。

现有的无调优个性化图像生成方法在处理多个角色时，尽管能保持面部一致性，但在场景的整体一致性方面存在缺陷，这影响了叙事的连贯性。给定包含一或两个角色的参考图像，StoryMaker旨在生成一系列新图像，展示相同的角色，保持面部、服装、发型和身体的一致性。通过改变背景、角色的姿势和风格，根据文本提示可以创建叙事。首先使用面部编码器提取角色的面部信息（即身份），并通过角色图像编码器获取他们的服装、发型和身体的细节。

解决的问题传统的文本生成图像 (T2I) 扩散模型在生成单个实例时效果很好，但在多个实例的特征生成和准确定位上存在挑战。尽管布局生成图像 (L2I) 任务通过使用边界框提供空间控制来解决定位问题，但在实例特征的精确生成上仍然不足。提出的方案为了解决这一问题，提出了实例特征生成 (IFG)任务，旨在同时确保生成实例的准确定位和特征保真度。为此，引入了实例特征适配器 (IFAdapter)，作为一种模块，能够在不同模型中灵活应用。

DressPlay是一款专为追求时尚或有特定穿搭需求的用户量身定制的换装应用。通过先进的 AI 技术，DressPlay 为用户提供了一个虚拟试衣间，使用户能够在几秒钟内试穿多种服装，并根据个人喜好进行个性化调整。无论是选择上衣、裤装还是整套装扮，DressPlay 都能一键为用户实现完美搭配。此外，DressPlay拥有简洁且直观的用户界面，用户可以轻松地浏览、选择和切换不同的服装组合。系统还提供了多种模板和风格选项，满足多样化的时尚需求。

文章链接：https://arxiv.org/pdf/2408.14975项目链接：https://megactor-ops.github.io/一种新颖的混合模态扩散Transformer（DiT），能够有效整合音频和视觉控制信号。相较于之前基于UNet的方法，这是首个基于DiT框架的人像动画方法。一种新颖的“模态解耦控制”训练策略，能够解决视觉泄露问题，并有效平衡视觉和音频模态之间的控制强度。

给定 个稀疏视角（即，少至两个）图像 ，其中 ，目标是重建基础的3D场景，并合成未见视角的新视图。在框架 ReconX 中，首先从 中构建一个全局点云 ，并将 投影到3D上下文表示空间 中，作为结构指导。然后，将 注入视频扩散过程中，以生成3D一致的视频帧 ，其中 ，从而创建更多的观测。为缓解生成视频间不一致性导致的负面伪影，我们利用来自 DUSt3R 模型的置信度图 和 LPIPS 损失来实现鲁棒的3D重建。通过这种方式，我们能够释放视频扩散模型的全部潜力，从非常稀疏的视角中重建复杂的3D场景。

文章链接：https://arxiv.org/pdf/2408.15914CoRe只用于输出embedding和注意力图，不需要生成图像，可以用于任意提示。在身份保护和文本对齐方面表现出优越的性能，特别是对于需要高度视觉可变性的提示。除了个性化一般对象外，方法还可以很好地实现人脸个性化，与最近的三种人脸个性化方法相比，生成了更多保留身份的人脸图像。近年来，文本到图像的个性化生成技术取得了显著进展，能够针对用户提供的概念实现高质量且可控的图像合成。

视频生成质量低：难以同时实现高质量的时间和空间建模。生成过程耗时：通常需要数百次推理步骤，时间成本较高。生成视频长度短：由于VRAM限制，生成视频的长度通常只有2-3秒。模型负担重：单一模型处理复杂的多维度视频生成任务，难以兼顾所有需求。

现有基于Transformer的UNet模型在生成高分辨率视觉内容时面临时间和内存复杂度的挑战，特别是在处理空间token数量时。

最终，风格嵌入和文本嵌入被结合，并输入到SD的文本编码器中，这样风格图像就可以作为风格提示来生成图像，从而更好地描述所需风格。同时，风格和内容在各自独立的语义空间中处理，避免了风格和内容之间的重叠。例如，在生成的图像中，尽管包含了山脉和向日葵，但参考图像中的人类也出现在了结果中。这种方法帮助模型在嵌入空间中将相同风格的图像聚集在一起，而将不同风格的图像分散开来，从而增强了风格编码器处理新风格的鲁棒性。由于本文方法能够保持参考图像中的风格，如果使用多张不同风格的图像作为参考，则风格融合会产生新的风格。

比较了最近的几种先进的基于反演的风格识别方法，包括Chung等人（2024）的StyleID、Hertz等人（2024）的StyleAligned方法，以及基于Transformer结构的StyTR2 Deng等人（2022）。所提出的风格迁移模型CSGO，如下图4所示，旨在实现任意图像的任意风格化，而无需微调，包括素描和自然图像驱动的风格迁移、文本驱动的风格化合成以及文本编辑驱动的风格化合成。所提出的方法支持文本驱动的风格控制，即给定一个文本提示词和一个风格图像，生成具有相似风格的图像。

下图2展示了本文方法的概述。本文的方法依赖于三个组件的结合。如前所述，需要确保输入到模型中特定操作（如加法和乘法）的维度匹配。为此，引入了一种分层依赖解析算法，旨在检测这些依赖关系。该算法生成了一组耦合组，其中包括需要同时剪枝的参数以保持一致的通道维度。基于这些耦合组，可以开始对给定模型进行剪枝。不是随机选择一个组并剪枝其中的神经元，而是使用基于Hessian的重要性评分对神经元进行排序，根据其重要性在每次迭代中移除最不重要的神经元。

论文链接：https://arxiv.org/pdf/2407.21475github链接： https://densechen.github.io/zss/本文提出了一种新颖的zero-shot视频采样算法，该算法能够直接从预训练的图像扩散模型中采样高质量的视频片段。本文提出了一个依赖噪声模型和时间动量注意力机制，首次能够灵活地控制生成视频中的时间变化。通过广泛的应用展示了本文方法的有效性，包括条件和专门的视频生成，以及由文本指令指导的视频编辑。

文章链接：https://arxiv.org/pdf/2408.05939git链接：https://aigcdesigngroup.github.io/UniPortrait-Page/demo链接：https://huggingface.co/spaces/Junjie96/UniPortrait本文提出了UniPortrait，一种创新的人像图像个性化框架，统一了单ID和多ID的定制，具有高面部保真度和可控性；

复杂场景的生成不足：尽管文本生成图像的扩散模型在图像质量上取得了显著进展，但复杂场景的生成仍然相对未被充分探索。“复杂场景”定义不明确：关于“复杂场景”的具体定义尚不清晰，导致难以有效处理这类生成任务。

文章链接：https://arxiv.org/pdf/2408.07009Imagen 3，目前Google最好的文生图扩散模型，是一种潜在扩散模型，可以从文本提示生成高质量的图像。详细描述了 Imagen 3 质量和责任评估，发现Imagen 3相比其他SOTA模型更受欢迎。讨论了安全和表征问题，以及用于最小化本文模型潜在危害的方法。

为了避免涉及非文本区域的边缘，引入了一个轻量级文本检测模块，用于过滤掉无用的边缘，以进行文本分割。如图5所示，所提出的EAFormer在文本边缘的表现优于之前的方法，这得益于引入的边缘信息。尽管上表3表明，当使用重新标注的数据集进行训练和测试时，本文的方法性能有所下降，但下图5中的可视化结果表明，本文的模型在重新标注的数据集上能够实现更好的分割结果。尽管PGTSNet已经意识到文本边缘的重要性，并使用了二元交叉熵损失来检测文本边缘的像素，但它未能明确地将易于获取的文本边缘信息作为输入信息之一。

文章链接：https://arxiv.org/pdf/2408.04567 项目地址：https://xrvisionlabs.github.io/Sketch2Scene/亮点直击可控的、基于草图指导的2D isometric图像生成流程。一个基底图修补模型，通过在新数据集上进行逐步展开的去噪扩散训练。基于学习的组合式3D场景理解模块。一个程序化生成流程，用于使用上述场景理解模块获得的场景参数渲染互动3D场景。3D内容生成是许多计算机图形应用的核心，包括视频游戏、电影制作、虚拟现实和增强

论文链接：https://arxiv.org/pdf/2408.02629项目链接：https://sais-fuxi.github.io/projects/vidgen-1m/git链接：https://github.com/SAIS-FUXI/VidGen引入了一个专门用于训练文本到视频模型的高质量视频数据集。提出了一种多阶段策展方法，在有限计算资源下实现精准且高质量的数据策展。发布了本文的文本到视频模型，该模型生成的高质量视频在性能上超越了当前最先进的方法。

文章链接：https://arxiv.org/pdf/2408.03209git链接：https://unity-research.github.io/IP-Adapter-Instruct.github.io/demo链接：https://huggingface.co/spaces/unity/IP-Adapter-Instruct提出IPAdapter-Instruct模型：结合自然图像条件与文本指令，灵活切换多种解释方式（如风格迁移、物体提取），简化任务处理。

假设目标分布是，将信号分割成多个子任务： ... 对于第t个条件概率拟合任务，采用网络θ来拟合它。对于任意两个任务t和k以及两个状态样本s和，如果将这种信号分解称为等变。可以观察到，语言分解是独立于位置的。对于任何token 或短语，它们在句子中第t个或第k个位置出现的概率几乎相同。这一观察结果与方程2一致，因此表明语言分解表现出等变性。因此，采用单一模型来近似这些不同但相关的任务通常不会导致冲突，实际上，这对数据的整体建模非常有利。

文章链接：https://arxiv.org/pdf/2408.02657git链接：https://github.com/Alpha-VLLM/Lumina-mGPT通过多模态生成预训练的自回归Transformer，而不是从头训练，可以作为逼真的文本到图像生成和视觉与语言任务统一的有效初始化。基于mGPTs，引入了两种新的微调策略，FP-SFT和Omni-SFT，以在从弱到强的范式中充分释放它们的潜力，仅使用1000万高质量的文本-图像数据。

在文本编码器也进行微调的情况下，PID引发严重的噪声、低质量图像，这些图像与训练数据几乎没有语义相关性，表现为降低的FDS（0.303和0.288）、显著降低的IQS（-8.979和-14.764）、高的BRISQUE（28.927和50.112）。的情况，显示的图像来自候选模型中视觉效果最佳的模型。本文使用↑（数值增加）和↓（数值减少）表示更好的保护效果的方向，例如，较大的FID表示生成图像与训练图像的分布之间存在更大的距离，表明生成的图像未能很好地捕捉训练数据，从而保护了训练数据的隐私。

文章链接：https://arxiv.org/pdf/2407.20455一种数据生成技术，提供了具有更好身份和布局对齐的配对数据；一种多条件扩散模型，能够生成保留特征的结果，并在推理中提供准确的编辑mask指导；实现了最先进的人像编辑效果。现有的技术在进行人像编辑时面临挑战，难以保留主体特征（如身份）。本文提出了一种基于训练的方法，通过自动生成的配对数据来学习所需的编辑，同时确保保留未更改的主体特征。具体来说，本文设计了一个数据生成过程，以低成本创建合理的编辑训练对。

文章链接：https://arxiv.org/pdf/2407.16224git链接:https://humanaigc.github.io/outfit-anyone/顶尖逼真度：OutfitAnyone 方法为虚拟试穿设立了新的行业标准，提供行业领先的高质量结果。高鲁棒性：OutfitAnyone 可以支持任何人、任何服装、任何体型和任何场景的虚拟试穿。灵活控制：支持各种姿势和体型引导方法，包括 (openpose，SMP，densepose)。

论文链接：https://arxiv.org/pdf/2407.21705项目链接：https://ali-videoai.github.io/tora_video/亮点直击本文引入了Tora，这是第一个轨迹导向的DiT用于视频生成。如下图2所示，Tora无缝整合了广泛的视觉和轨迹指令，从而能够熟练地创建可操控运动的视频。为了与DiT的可扩展性保持一致，本文设计了一种新颖的轨迹提取器和运动引导融合机制，以获取时空运动块，随后将这些块注入DiT块中。

文章链接：https://arxiv.org/pdf/2407.18247github链接：https://github.com/LuJingyi-John/RegionDrag引入了一种基于区域的图像编辑方法，以克服基于点拖拽方法的局限性，利用更丰富的输入上下文来更好地对齐编辑结果与用户的意图。通过采用无梯度的复制粘贴操作，基于区域的图像编辑比现有方法快得多（见上图1），在一次迭代中完成拖拽。

文章链接：https://arxiv.org/pdf/2407.17911git链接：https://alberthkyhky.github.io/ReCorD/引入了一种新颖的推理框架，将潜在扩散模型（LDM）与视觉语言模型（VLM）相结合，以克服生成逼真的人与物体互动（HOI）时面临的挑战，缓解了以往方法中的问题，例如大语言模型（LLM）对简单文本提示的过度分析以及LDM中的训练数据偏差。

尽管Omnigrasp展示了控制模拟人形机器人抓取各种物体并在保持物体的同时跟随全方向轨迹的可行性，但仍然存在许多限制。例如，尽管输入和奖励中提供了6自由度（6DoF）输入，系统在旋转误差方面仍需进一步改进。Omnigrasp尚未支持精确的手内操作。轨迹跟随的成功率可以提高，因为物体可能会掉落或无法被拾起。另一个改进领域是实现对物体的特定类型抓取，这可能需要额外的输入，例如所需的接触点和抓取方式。即使在模拟中，实现人类水平的灵巧度仍然具有挑战性。有关失败案例的可视化，请参见补充网站。

文章链接：https://arxiv.org/pdf/2407.08683github链接：https://github.com/TencentARC/SEED-StorySEED-Story，一种利用多模态大语言模型（MLLM）生成具有丰富叙述性文本和上下文相关图像的多模态故事的新方法。提出了多模态注意力汇聚机制，以高效生成长度大于训练时使用的序列长度的长故事。引入了StoryStream，这是一个专门为训练和基准测试多模态故事生成而设计的大规模数据集。

通过渲染合成逼真的新视角图像，神经辐射场（NeRF）及其变体已经成为3D甚至4D动态场景的主要神经表示方法。除了仅仅表示现有场景之外，越来越多的人对通过场景编辑从原始场景创建新的、多样化的场景产生了兴趣。对于用户来说，最方便和直接的方式来传达场景编辑操作是通过自然语言——这一任务被称为指令引导的编辑。在2D图像任务中，已经通过2D扩散模型，即 Instruct-Pix2Pix (IP2P)取得了成功。然而，将这一能力扩展到以NeRF表示的3D或4D场景却面临显著挑战。

论文链接：https://arxiv.org/pdf/2407.16655项目主页：https://aim-uofa.github.io/MovieDreamer/github链接：https://github.com/aim-uofa/MovieDreamer，一个新颖的分层框架，将自回归模型与扩散渲染结合起来，平衡长时间叙事连贯性与短时间视觉保真度。该方法大幅延长了生成视频内容的时长，达到个关键帧。使用多模态自回归模型生成视觉token序列。自回归模型支持和。

论文链接：https://arxiv.org/pdf/2407.11394github链接：https://dream-catalyst.github.io/本文通过将DDS解释为SDEdit过程，提出了一种3D编辑的一般公式，并提出了一种用于快速编辑和质量改进的专门公式。在一般的3D编辑任务中采用了递减时间步采样，这是一种在3D生成任务中常用的加速训练速度的采样算法，解决了以往工作中面临的挑战。首次引入FreeU用于3D编辑，以增强可编辑性，克服重新加权编辑目标公式中固有的权衡。

本文提出的框架的整体流程如下图2所示。给定一个未配对的低光图像 和正常光图像 ，首先使用一个编码器 ，它由 个级联的残差块组成，每个块使用最大池化层将输入按比例降采样 倍，将输入图像转换为潜空间表示，表示为 和。然后，设计了一个内容传输分解网络（CTDN），将这些特征分解为富含内容的反射率图 和 ，以及无内容的照明图 和。随后， 和 作为扩散模型的输入，结合低光特征的指导，生成恢复的特征。最后，恢复的特征将送入解码器 进行重建，生成最终的恢复图像。

论文链接：https://arxiv.org/pdf/2311.16445代码链接：https://github.com/YichaoCai1/CLAP亮点直击：本文提出了一种通过对比学习和数据增强，从因果角度微调预训练CLIP类模型的原始特征，以改进其视觉-语言特征的方法。：本文提出了一种针对预训练CLIP类模型的定制化方法。该方法利用一个解耦网络，通过对比学习和图像增强进行训练，从CLIP类模型的图像编码器提供的学习特征中提取潜在内容特征。

本文的设计将发型移植过程分为两个阶段。首先，使用Bald Converter将用户输入的源图像转换为光头agent图像。其次，本文的模型将参考发型移植到光头agent图像上。这确保了发型移植的最佳稳定性，并保持源图像内容的一致性。如下图3所示，本文的Stable-Hair框架包含三个主要组件：Hair Extractor、Latent IdentityNet和新集成的Hair Cross-Attention Layers。

Commonsense-T2I 包括150个手动策划的示例，每个示例都有一对对抗性提示：和，它们对应的期望输出描述：和，每个输出发生的可能性得分，以及常识类别。一个数据样本只有在满足以下Commonsense-T2I标准时才符合要求：和具有相同的主语，但动作词不同。和完全对比，不能在同一图像中共存。在常识下，会导致，会导致在日常生活中成立。

文章链接：https://arxiv.org/pdf/2406.16815项目地址：https://ggxxii.github.io/clothedreamer高保真度的基于文本的三维服装合成对于数字化人物创建是可取的，但也具有挑战性。最近基于扩散的方法，通过评分蒸馏抽样（SDS）实现了新的可能性，但要么与人体紧密耦合，要么难以重复使用。本文引入了ClotheDreamer，这是一种基于三维高斯的方法，用于从文本提示生成可穿戴的、适合生产的三维服装资产。

文章链接： https://arxiv.org/pdf/2407.08674github链接： https://still-moving.github.io/自定义文本生成图像（T2I）模型最近取得了巨大进展，尤其是在个性化、风格化和条件生成等领域。然而，将这些进展扩展到视频生成仍处于初期阶段，主要原因是缺乏定制视频数据。本文介绍了Still-Moving，是一种无需定制视频数据即可自定义文本生成视频（T2V）模型的新颖通用框架。