yang_daxia的博客

论文介绍了一个名为“Vlogger”的通用人工智能系统，它能够根据用户的描述生成分钟级的视频博客（vlog）。与通常只有几秒钟的短视频不同，vlog通常包含复杂的故事情节和多样化的场景，这对现有的视频生成方法来说是一个挑战。剧本（Script）：使用LLM根据用户故事创建剧本，描述多个拍摄场景及其相应的拍摄时长。演员（Actor）：根据剧本总结角色，并使用角色设计师生成这些角色的参考图像。

supervised fine-tuning的缩写，即有监督的微调。如应用到一个新的场景，就可以使用SFT。

目前常采用的定量指标是FID（Fréchet inception distance）和CLIP score，其中FID可以衡量生成图像的逼真度（image fidelity），而CLIP score评测的是生成的图像与输入文本的一致性，其中FID越低越好，而CLIP score是越大越好。训练条件扩散模型时，往往会采用Classifier-Free Guidance（这里简称为CFG），同时训练一个无条件的扩散模型（以一定的比例是text为‘’），然后将两者加权，可以改善最终的生成质量。

扩散模型可以用于图像生成、图像编辑、音乐生成等领域。后续学习更好的sampling、stable diffusion参考：https://learn.deeplearning.ai/courses/diffusion-models/p=1。