Cogvideo：通过变压器进行文本到视频的大规模预处理

经过大规模的变压器在文本（GPT-3）和文本形象（Dall-E和Cogview）一代中创建了里程碑。它在视频生成上的应用仍面临许多挑战：潜在的巨大计算成本使从头开始培训无法承受；文本视频数据集的稀缺性和弱相关性阻碍了理解复杂运动语义的模型。在这项工作中，我们提出了9B参数变压器COGVIDEO，通过继承验证的文本对图像模型Cogview2训练。我们还提出了多帧速率层次结构培训策略，以更好地对齐文本和视频剪辑。作为（可能）第一个开源大规模预处理的文本对视频模型，Cogvideo在机器和人类评估的较大范围内优于所有公开模型。