视频编辑的新助手：基于大模型的智能代理

人工智能咨询培训老师叶梓 转载标明出处

视频编辑的复杂性对于初学者来说是一个不小的挑战。为了降低这一门槛，一项由Meta、多伦多大学和加州大学圣地亚哥分校的研究团队共同提出的新技术——LAVE系统，为视频编辑带来了革命性的改变。LAVE系统旨在通过集成大型语言模型（LLMs）到视频编辑工作流程中，减少初学者在视频编辑过程中遇到的障碍。它不仅帮助用户生成视频编辑创意，还能浏览和查找相关片段，并将它们有序地排列，以构建一个引人入胜的叙事。

LAVE系统的用户界面和主要功能。它包括：
A) 视频编辑代理，用户可以通过对话获得帮助。B) 语言增强的视频画廊，用户可以点击视频选择并添加到编辑时间线。C) 系统自动生成的视频简洁标题。D) 鼠标悬停在视频上时显示的视频摘要工具提示。E) 用户可以重新排序和修剪片段的编辑时间线

设计LAVE系统有两个主要目标。目标D1是利用自然语言降低编辑障碍。这一目标的核心思想是通过LLM的语言智能，从最初的构思到编辑操作，增强手动视频编辑的范式，从而减少用户在编辑过程中遇到的障碍；目标D2是保持用户在编辑过程中的主体性。由于AI辅助内容编辑可能带来用户自主性和控制力的丧失，LAVE系统设计了AI辅助和手动编辑两种选项，使用户能够根据需要对AI的辅助进行细化或选择退出，从而保持用户主体性，确保最终产品反映用户的艺术视野，并授予他们决策权。

LAVE用户界面

LAVE系统的用户界面设计遵循了前述的两个主要设计目标。LAVE的UI由三个核心组件构成：1) 语言增强型视频库，它为视频片段提供自动生成的语义标题和摘要；2) 视频编辑时间线，用于对视频片段进行排序和剪辑；3) 视频编辑代理，一个基于聊天的交互界面，允许用户通过自然语言与代理交流，获取编辑过程中的协助。这些组件共同提供了一个集成了LLM智能的视频编辑环境。

LAVE的语言增强视频画廊，包括视频的语义标题、长度，以及当鼠标悬停在视频上时显示的详细摘要

LAVE系统拥有一个语言增强型视频库，如图3所示。与传统工具类似，它允许播放视频片段，但独特之处在于提供了视觉叙述，即系统自动为每个视频生成的文本描述，包括语义化的标题和摘要。这些标题有助于用户在不播放视频的情况下理解并索引片段，而摘要则提供了每个片段视觉内容的概览，有助于用户构建他们的编辑项目的故事线。视频的标题和时长显示在每个视频下方，鼠标悬停在视频上会显示带有叙述性摘要的工具提示。用户可以使用“添加到时间线”按钮选择片段添加到编辑时间线。如果用户希望使用他们的所有视频，可以使用“全选/全不选”选项将它们添加到时间线。另外LAVE允许用户使用语义语言查询搜索视频，检索到的视频会根据相关性在视频库中展示排序。这个功能必须通过编辑代理来执行。

从视频库中选择视频并添加到编辑时间线后，它们会显示在界面底部的编辑时间线上。时间线上的每个片段由一个盒子表示，盒子展示了视频的开始、中间和结束帧的缩略图，以说明其内容。在LAVE系统中，每个缩略图帧代表片段中的一秒钟画面。与视频库中一样，每个片段的标题和描述也被提供。编辑时间线在LAVE中具有两个关键功能：片段排序和修剪。每种功能都提供了基于LLM的选项和手动选项，使用户能够在AI辅助方面拥有灵活性和控制权。

LAVE的视频编辑时间线，用户可以通过拖放来重新排列视频片段的顺序，也可以通过双击打开修剪页面

片段排序是视频编辑中的常见任务，对于创建连贯的叙事至关重要。LAVE支持两种排序方法：基于LLM的故事板功能，根据用户提供的或LLM生成的故事线排序片段；手动排序允许用户通过直接操作来安排片段的顺序。用户可以通过拖放每个视频框来设置片段出现的顺序。如果用户想从时间线上删除视频，他们可以选择特定片段并点击"删除"按钮。还有一个"清除全部"选项，用于同时从时