音频提取字幕开源模型-whisper

介绍

Whisper 是一种通用的语音识别模型。它是在包含各种音频的大型数据集上训练的，也是一个可以执行多语言语音识别、语音翻译和语言识别的多任务模型。

地址：openai/whisper

whisper-webui

OpenAI 的 Whisper AI 模型的 HTML WebUI，可以转录和翻译音频。用户界面支持转录音频文件、麦克风音频和 YouTube 链接。

简而言之，提供了一个web版本的UI界面，可以让你通过点点点来处理自己的音频，无需使用命令行，

地址：aadnk/whisper-webui

可以做什么

B站有很多我非常喜欢的舞台剧，可是木有中文字幕，我只能望剧兴叹，谷歌也有一些实时翻译的插件，不过大多需要付费，很多也不能满足需求，直到我发现whisper这个好东西，我觉得主要妙在以下几点

• 开源
• 可以部署在自己电脑上，对硬件要求不是非常高
• 安装还算便捷，处理速度可以接受

我该如何使用

我不打算再另外写一篇安装教程，不过可以提供两个写的比较好的教程，因为whisper是基于python安装使用的，所以python是必须的，从我的安装经验来看，直接安装出问题的概率较大，推荐使用Anaconda创建一个环境来安装，可以参考以下两篇文章：
Windows本地配置OpenAI Whisper+WebUI
如何在你的电脑上完成whisper的简单部署

获取字幕之后

whisper可以获取到字幕，其实它也支持直接翻译成英文，但是对咱们来说，最终还是需要中文字幕，可以手动翻译，也可以通过一些工具来达到：
nikse.dk

可以通过上面的网站将得到的字幕翻译成中文。

效果

经过我的测试，我的电脑装的是非常老的显卡，GTX960，但是能带动，2个小时大概120分钟的视频，日语的，大概要处理半个多小时，还可以接受，翻译效果来说，从视频到最终得到中文字幕，60%吧大概。