- 博客(2)
- 资源 (4)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 (CVPR-2025)无需归一化的Transformer
归一化层在现代神经网络中无处不在，并长期被认为是必不可少的。本研究表明，不使用归一化的Transformer可以通过一种极其简单的技术达到甚至超过标准性能。我们提出了Dynamic Tanh（DyT），这是一种逐元素的操作DyTxtanhαxDyTxtanhαx，可以直接替代Transformer中的归一化层。DyT的灵感来自于一个观察：Transformer中的层归一化通常会产生类似tanh的、SSS形的输入输出映射。
2025-04-01 10:56:42
1046
原创 (Arxiv-2025)Magic 1-For-1：在一分钟内生成一分钟视频剪辑
在本技术报告中，我们提出了 Magic 1-For-1（Magic141），这是一种在内存消耗和推理延迟方面经过优化的高效视频生成模型。其核心思想很简单：将文本到视频的生成任务分解为两个更容易的子任务，即文本到图像生成和图像到视频生成，从而实现扩散步蒸馏。我们验证了，在相同的优化算法下，相较于文本到视频任务，图像到视频任务确实更容易收敛。我们还探索了一系列优化技巧，从三个方面降低训练图像到视频（I2V）模型的计算成本：1）通过多模态先验条件注入来加速模型收敛；2）通过应用对抗性步蒸馏来加速推理延迟；
2025-04-01 10:56:00
752
概率的公式推导，这步不知道怎么推过去的
2021-07-27
TA创建的收藏夹 TA关注的收藏夹
TA关注的人