如何使用whisper+ollama+ffmpeg为视频添加中文字幕

在日常学习生活中，许多有价值的资料都是非中文的，例如 Andrej Karpathy 推出的几个与大模型相关的视频，例如经久不衰的 MIT 6.824 分布式系统课程，这些视频系统地讲解了特定领域的知识，时长较长，往往从一小时起步。如果逐句翻译，将耗费大量时间。然而，随着大型模型技术的快速发展，我们可以利用这些技术来翻译和学习这些视频，使我们的学习之路更加顺畅。本文将介绍如何使用 Whisper、Ollama 和 FFmpeg 组建一套完善的非中文视频翻译流程。

whipser 是由 OpenAI 开源的一个基于大规模弱监督实现的语音识别工具，它支持识别超过一百种语言。

此外，Whisper 还可以翻译识别到的语言，但它仅支持将结果翻译为英文，无法满足我们对中文的需求。因此，我们需要借助 Ollama 对语音识别的结果进行进一步处理。

ollama 可以快速部署并运行大模型服务，支持几乎所有的主流大模型，让开发者可以像管理容器和镜像一样管理大模型，通过使用 ollama 部署智脑，Qwen 等大语言模型，我们可以将 Whisper 识别的字幕翻译为中文。

最后，我们使用 FFmpeg 这一视频处理软件，将字幕与原视频合并，实现流畅的观看体验。

1

具体步骤

1. 使用 whipser 提取字幕

whisper 的安装和使用都很简单，首先执行下面的命令安装

pip install -U openai-whisper

安装后，运行下面的命令即可从视频中提取 srt 格式的字幕

whisper video.mp4 --model turbo --language en --output_format srt

详细解释下每个参数的作用：

video.mp4 即需要处理的视频

--model 参数指定使用什么模型，whisper 目前支持六种模型&#x