FunClip:阿里达摩院开源的AI自动视频剪辑工具
项目基础介绍和主要编程语言
FunClip 是由阿里达摩院开源的一款完全本地部署的自动化视频剪辑工具。该项目主要使用 Python 编程语言开发,适合对视频剪辑有自动化需求的开发者使用。
项目核心功能
- 自动化语音识别:利用阿里巴巴通义实验室的 FunASR Paraformer 系列模型,对视频进行语音识别,将语音转换成文字。
- 热词定制化:通过集成的 SeACo-Paraformer 模型,用户可以指定一些实体词、人名等作为热词,以提升特定词汇的识别准确率。
- 说话人识别:集成 CAM++ 说话人识别模型,允许用户根据自动识别的说话人 ID 裁剪出特定说话人的视频段落。
- 视频裁剪:用户可以选择识别结果中的文本片段或指定说话人,通过点击裁剪按钮获取对应视频片段。
- Gradio 交互界面:通过 Gradio 实现的交互界面,简化了视频剪辑的操作流程,用户可以在服务端搭建服务并通过浏览器进行剪辑。
- 多段剪辑支持:FunClip 支持用户对视频进行多段剪辑,提供了灵活的编辑能力。
- 自动生成字幕:剪辑后的视频可以自动生成全视频和目标段落的 SRT 字幕文件,方便用户添加或编辑字幕。
- 命令行调用:除了图形界面,FunClip 还支持通过命令行进行视频识别和裁剪,提供了更灵活的使用方式。
项目最近更新的功能
- 支持英文音频文件的识别和剪辑:2024年6月12日,FunClip 新增了对英文音频文件的识别和剪辑功能,用户可以通过运行
python funclip/launch.py -l en
来体验。 - 智能剪辑功能:2024年5月13日,FunClip v2.0.0 版本新增了智能剪辑功能,集成了大型语言模型(如 qwen 系列、GPT 系列等),提供默认提示词,用户可以根据需要调整提示词,利用大型语言模型的能力获取所需的剪辑结果。
- UI 升级和功能优化:2024年5月9日,FunClip v1.1.0 版本进行了 UI 升级,视频和音频剪辑功能整合在同一页面,按钮位置调整,修复了由于 FunASR 接口升级导致的剪辑错误,支持配置不同的开始和结束时间偏移量。
- 命令行使用优化:2024年3月6日,修复了使用 FunClip 命令行时的 bug。
- FunASR 模型更新:2024年2月28日,FunASR 更新至 1.0 版本,使用 FunASR 1.0 和 SeACo-Paraformer 进行 ASR 处理,支持热词定制化。