未来,视频剪辑可能也会像视频生成领域一样迎来 AI 自动化操作的大爆发。
这几天,AI 视频领域异常地热闹,其中 OpenAI 推出的视频生成大模型 Sora 更是火出了圈。而在视频剪辑领域,AI 尤其是大模型赋能的 Agent 也开始大显身手。
随着自然语言被用来处理与视频剪辑相关的任务,用户可以直接传达自己的意图,从而不需要手动操作。但目前来看,大多数视频剪辑工具仍然严重依赖手动操作,并且往往缺乏定制化的上下文帮助。因此,用户只能自己处理复杂的视频剪辑问题。
关键在于如何设计一个可以充当协作者、并在剪辑过程中不断协助用户的视频剪辑工具?在本文中,来自多伦多大学、 Meta(Reality Labs Research)、加州大学圣迭戈分校的研究者提出利用大语言模型(LLM)的多功能语言能力来进行视频剪辑,并探讨了未来的视频剪辑范式,从而减少与手动视频剪辑过程的阻碍。
-
论文标题:LAVE: LLM-Powered Agent Assistance and Language Augmentation for Video Editing
-
论文地址&#x