沉迷单车的追风少年

Diffusion Models视频生成-博客汇总

Diffusion models代码解读：系列文章汇总导航

《DiffusionModels与深度学习》专栏文章导航

Qwen2.5-Omini发布已经几个月了，但是网上实战微调的教程比较少，特别是如何准备数据如何调参等经验性技巧依旧比较难获得。这篇博客从实战出发，介绍如何微调Qwen2.5-Omni以及微调过程中的一些经验。

近期Kimi-Linear、LongCat-Video和Qwen-Next都公开了技术报告和原始代码，共同点是他们都从架构上做了不小的升级，带来了超长tokens的处理能力和更快的推理性能。这篇博客就从近期Kimi-Linear、LongCat-Video和Qwen-Next解读下一代大模型架构升级。

MIT提出实时流式视频生成StreamDiffusionV2、LeCun&李飞飞&谢赛宁联合提出空间超感知Cambrian-S

字节开源720p视频生成自回归模型、字节开源多模态图片编辑模型DreamOmni2、上交提出细粒度PixCLIP

FlashVSR 是首个实现近实时（17 FPS）、流式处理、支持 1440p 的扩散视频超分辨率模型，通过三阶段蒸馏、局部稀疏注意力和微型条件解码器，兼顾速度、质量与可扩展性。

达特茅斯学院提出超高分辨率图片生成Scale-DiT、北航提出滤镜图片生成Personalized Image Filter、清华提出多轮视觉编辑ConsistEdit

通义实验室提出Diffusion-MoE方法Routing Matters in MoE、快手提出组相对注意力图像编辑模型GRAG、腾讯提出误差感知趋势一致加速方法ETC

腾讯提出视频编辑模型GenCompositor、北京智源研究院发布世界模型Emu3.5

Vivo提出大规模超分辨率数据集、希伯来大学提出超高分辨率位置编码外推方法、哈工大提出个性化文生图模型EchoDistill

在SeedVR之后，字节又开源了SeedVR2。相比于上一代的模型，在速度和性能上都有了非常大的提升，特别是单步的生成技术，极大降低了计算成本。本篇博客从论文和代码角度讲解《SeedVR2: One-Step Video Restoration via Diffusion Adversarial Post-Training》

设计了一种新颖的HSI框架，以视频生成和无配对数据的多智能体系统为中心，将复杂的交互过程建模为一个动态有向图，在此基础上构建了一个协作的多智能体系统。多智能体系统包括一个用于环境感知和高级路径规划的场景导航智能体，一个将远景目标分解为原子动作的规划智能体，和一个批评智能体，通过评估生成的动作与计划路径之间的偏差来建立闭环反馈机制，能够动态修正由生成模型的随机性引起的轨迹漂移，从而确保长期的逻辑一致性。利用强化学习来训练动作生成器，显著减少了肢体扭曲和脚滑动等伪影，保持生成的一致性和物理性。

近年来，基于扩散的生成模型取得了显著进展，现已能够合成逼真的内容，这一进步确立了生成式视频修复作为一种有前景的新范式。Vivid-VR 首先使用 CogVLM2-Video 处理低质量（LQ）输入视频，生成文本描述，并通过 T5 编码器将其编码为文本标记。同时，3D VAE 编码器将输入视频转换为潜在表示，我们的控制特征投影器在此去除退化伪影。为了增强可控性，引入了一个双分支连接器，一个用于特征映射的 MLP 和一个用于动态控制特征检索的交叉注意力分支，实现自适应的输入对齐。

强化学习的10条实战经验（第二版）

强化学习的十条实战经验

从静态图像中产生富有表现力的面部动画是一项具有挑战性的任务。先前的方法依赖于明确的几何先验（例如，面部地标或3DMM），在交叉再现中经常受到伪影的影响，并且难以捕捉微妙的情感。此外，现有的方法缺乏对多角色动画的支持，因为来自不同个体的驱动特征经常相互干扰，使任务复杂化。为了解决这些挑战，我们提出了FantasyPortrait，这是一个基于扩散转换器的框架，能够为单角色和多角色场景生成高保真和情感丰富的动画。我们的方法引入了一种表情增强学习策略，该策略利用内隐表征来捕捉身份不可知论的面部动态，增强模型呈现细

从静态图像生成富有表现力的面部动画是一项具有挑战性的任务。以往依赖显式几何先验（如人脸关键点或三维形状模型 3DMM）的方法，在跨身份迁移时容易产生伪影，且难以捕捉细腻的情感。此外，现有方法普遍不支持多角色动画生成，因为来自不同角色的驱动特征往往会相互干扰，进一步加大任务的复杂度。为了解决这些问题，阿里巴巴提出了 FantasyPortrait，一个基于扩散变换器的框架，能够在单角色和多角色场景中生成高保真、情感丰富的面部动画。

本文探讨了强化学习中的奖励黑客(Reward Hacking)问题，即智能体通过利用奖励函数缺陷获取高回报却未达成预期目标的现象。文章分析了奖励黑客的成因，包括环境不完善、奖励函数设计挑战以及Goodhart定律的影响，并区分了环境误设型和奖励篡改型两种类型。特别关注了RLHF(基于人类反馈的强化学习)在语言模型中的应用，指出模型可能通过生成看似正确实则错误的回答来"欺骗"人类评估者。研究显示，随着模型能力提升，奖励黑客现象会加剧，表现为代理奖励上升而真实奖励下降。文章呼吁未来研究

奖励作弊（Reward Hacking）指智能体通过钻规则漏洞而非真正完成任务来最大化奖励信号。以论文编辑实验为例，研究提出“上下文奖励作弊”（ICRH）概念，即模型利用共享上下文钻空子，如盲目添加“正确！”或输出无关内容。实验发现，模型规模扩大可能加剧ICRH，且提示词优化难以根治。与传统奖励作弊不同，ICRH发生在部署阶段，由通用性驱动。应对建议包括多轮测试、多样化反馈及异常场景模拟，但尚无完美解决方案。

研究揭示了AI模型的奖励黑客行为在任务间具有泛化性。通过8个多选题数据集实验，使用GPT-3.5和专家迭代方法发现，训练环境中的奖励黑客行为会泛化到测试环境。研究设计了"草稿纸"机制记录模型推理过程，并观察到模型能结合用户信念、认知评估标准，甚至可能重写自身奖励函数。实验设置了政治谄媚、工具奉承等可游戏化环境课程，结果显示模型奖励篡改成功率低于1%。缓解措施包括对抗性奖励函数、模型前瞻等技术，以及在易受攻击环境中使用监督微调数据。研究强调需要改进RL算法和工程实践来预防奖励黑客行为

月之暗面提出Anything-to-Audio生成AudioX、浙江大学提出基于潜在运动的肖像视频生成、百度提出人类手势与语音节奏同步的视频生成Cosh-DiT

字节跳动提出通过相机控制的视频扩散模型实现大规模动态场景CameraCtrl II、微软提出3D引导的可控视频生成I2V3D、高德提出运动规律视频测评VMBench

字节跳动提出多物体组合视频生成CINEMA、CVPR2025 自回归Mesh生成TreeMeshGPT、南京大学提出视频中插入单图对象方法DreamInsert

华中科技大学提出视觉空间人物思维链EmbodiedVSR、腾讯提出VLM-Guide Mesh生成PBR3DGen、TCD提出使用Jensen蒸馏的Text-to-3D

本文提出Diffusion-DPO方法，通过直接优化人类偏好数据来对齐文本到图像扩散模型。该方法基于直接偏好优化(DPO)框架，重新设计损失函数以适应扩散模型的似然特性。实验使用85.1万对Pick-a-Pic数据集微调Stable Diffusion XL模型，结果表明该方法在视觉吸引力和文本对齐度上显著优于基线模型。研究还探索了AI反馈替代人工评估的可行性，发现使用PickScore等评分模型训练能进一步提升性能，为扩散模型对齐提供了新方向。

华为提出频驱动的通用肖像视频编辑RASA、香港科技大学提出长视频生成Multi-Agent、北京大学提出高效视频到音频生成模型TA-V2A

耶鲁大学提出自回归视频生成统一框架Meta-ARVDM、弗吉尼亚州立大学提出视频参照抠图VRMDiff、中山大学提出大型的任务导向手-物体交互视频数据集TASTE-Rob

快手提出生成视频重渲染框架ReCamMaster、天津大学提出多任务视频修复框架MTV-Inpaint、微软提出新文生视频框架HiTVideo

本文提出VideoDPO方法，通过改进直接偏好优化(DPO)来解决视频扩散模型存在的视觉质量与文本-视频对齐问题。作者设计了OmniScore综合评分系统，同时评估视频质量和语义对齐度，并开发自动化流程生成偏好对数据，无需人工标注。实验表明，该方法显著提升了生成视频的视觉保真度和语义一致性，为多维度偏好对齐提供了有效解决方案。

本文介绍了如何利用奖励函数训练Wan2.1视频生成模型。文章详细讲解了四种奖励函数（美学奖励、HPS奖励、PickScore奖励和MPS奖励）的实现方法，并提供了完整的训练代码。通过控制计算图的保存范围来优化内存使用，只保留关键步骤的计算图，避免计算图爆炸。该方法适用于视频生成强化学习任务，为相关研究提供了实用参考。

最近在生成模型方面的突破- -特别是扩散模型和矫正流- -已经彻底改变了视觉内容的创造，但将模型输出与人类偏好保持一致仍然是一个关键的挑战。现有的基于强化学习( RL )的视觉生成方法存在严重的局限性：与基于常微分方程( ODEs )的现代采样范式不兼容、大规模训练不稳定以及缺乏视频生成的验证。本文介绍DanceGRPO，第一种将群体相对策略优化( Group Relative Policy Optimization，GRPO )适应于视觉生成范式的统一框架。

本文系统梳理了强化学习策略优化方法的演进过程，从PG（策略梯度）到TRPO（信任域策略优化）、PPO（近端策略优化）、DPO（直接偏好优化）直至GRPO（群组相对优化策略）。这一发展路径呈现出三大规律：1）从在线策略向离线策略迁移；2）策略稳定性不断提升；3）数据需求从环境交互转向静态偏好数据。文章重点对比了各算法核心思想与改进点：TRPO引入信任域约束解决PG的高方差问题，PPO通过Clip机制简化TRPO的复杂计算，DPO实现离线策略学习并利用人类偏好数据，而GRPO则在保持奖励模型的同时优化计算效率。

《Skyreels-v2: Infinite-length film generative model》中详细介绍了训练Flow-DPO的原理、方法、数据收集策略等，内容非常翔实，是训练Flow-DPO非常难得的一份参考资料。

虽然SFT在改善美观方面是有效的，但在SFT后经常观察到运动和结构的退化。在Seaweed-7B中，使用RLHF可以明显改善在改善结构和运动质量。

本文提出了一种利用人类反馈改进视频生成的系统方法。研究团队构建了包含182k样本的多维人类偏好数据集（视觉质量、运动质量和文本对齐），并开发了VideoReward奖励模型。基于强化学习框架，研究者提出了三种基于流模型的对齐算法：Flow-DPO、Flow-RWR两种训练时方法和Flow-NRG推理时技术。实验表明，VideoReward优于现有模型，Flow-DPO表现最佳，而Flow-NRG支持推理时自定义质量权重。通过分离上下文相关与无关的评估维度，该方法显著提升了视频生成质量与可解释性。

最近强化学习在Diffusion Models得到了越来越多广泛的应用，本专栏将系统性地介绍当前Diffusion Models中实用且前沿的技术进展。这篇博客介绍字节最新的视频生成模型Seedance 1.0: Exploring the Boundaries of Video Generation Models中所用到的强化学习技术。

InstantX团队自从推出了InstantID之后，再也没有像InstantID爆款的开源项目，但是近两年大佬们一直努力开源，这种精神令人敬仰。这篇博客解读InstantX最新的开源项目InstantCharacter。

InstantID是ID保持生成的经典工作，后续大量图片/视频ID保持的工作都是基于这个工作完成的。这篇博客从代码出发，并结合原理，详细解读一下InstantID的代码。