介绍 Whisper 模型

介绍 Whisper 模型

Whisper 是一个通用的语音识别模型。它在大规模多样化的音频数据集上进行训练，并且能够执行多任务处理，包括多语言语音识别、语音翻译和语言识别。

核心方法

Whisper 使用的是 Transformer 序列到序列模型，训练于多种语音处理任务。这些任务包括多语言语音识别、语音翻译、口语语言识别和语音活动检测。这些任务被联合表示为解码器需要预测的一系列标记，这样一个模型可以取代传统语音处理管道中的多个阶段。多任务训练格式使用了一组特殊标记，作为任务说明符或分类目标。

环境设置

我们使用 Python 3.9.9 和 PyTorch 1.10.1 来训练和测试我们的模型，但代码库预计兼容 Python 3.8-3.11 和最新的 PyTorch 版本。代码库还依赖于几个 Python 包，最显著的是 OpenAI’s tiktoken 用于快速分词实现。

安装或更新 Whisper 最新版本的命令：

pip install -U openai-whisper

或者，以下命令将拉取并安装该仓库的最新提交以及其 Python 依赖项：

pip install git+https://github.com/openai/whisper.git

更新包到最新版本的命令：

pip install --upgrade --no-deps --force-reinstall git+https://github.com/openai/whisper.git

还需要在系统上安装命令行工具 ffmpeg，可以从大多数包管理器中获取：

# 在 Ubuntu 或 Debian 上
sudo apt update && sudo apt install ffmpeg

# 在 Arch Linux 上
sudo pacman -S ffmpeg

# 在 MacOS 上使用