使用 OpenAI Whisper v2 模型进行中英文混合语音识别

已于 2024-08-07 18:35:36 修改
阅读量1k 收藏 2
点赞数
分类专栏： 深度学习机器学习 文章标签： whisper 语音识别 xcode
于 2024-08-07 18:34:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/x1131230123/article/details/140998612
版权

https://huggingface.co/openai/whisper-large-v2

使用 OpenAI Whisper 模型进行中英文混合语音识别

在本篇博客中，我们将详细介绍如何使用 OpenAI 的 Whisper 模型进行中英文混合语音识别，并设置 Hugging Face 的缓存路径。

简介

Whisper 是 OpenAI 提供的一个强大的自动语音识别（ASR）模型，能够处理多种语言的语音识别和翻译任务。本文将重点介绍如何使用 Whisper 模型进行中英文混合录音的识别，并设置 Hugging Face 的缓存路径到指定目录。

安装依赖项

首先，我们需要安装所需的 Python 库，包括 transformers、datasets 和 torch。

pip install transformers datasets torch

加载模型和处理器

了解本专栏 订阅专栏 解锁全文
神经网络实用工具（整活）系列---使用OpenAI的翻译模型whisper实现语音（中、日、英等等）转中字，从此生肉变熟肉---基础篇
weixinhum
06-02 7032
最近在做神经网络的研究，偶然间看到OpenAI开源出了一个多国语音转文字的模型，脑海里突然想到余大嘴在华为发布会发布实时语音翻译时满屏弹幕的“？？？”和“！！！”，于是决定做一个多国语音转简体中文字幕的软件来玩一玩。想法是这样的：通过OpenAI最新发布的翻译模型whisper（可以翻译200多种语言，且其中部分语言的翻译效果已然接近甚至超过人类的神器）加上自己写的一点点程序，做一个傻瓜化的多国语言转中文字幕的软件。
学习实践-Whisper语音识别模型实战（部署+运行）
LZL2020LZL的博客
04-12 8624
OpenAI的语音识别模型Whisper，Whisper 是一个自动语音识别（ASR，Automatic Speech Recognition）系统，OpenAI 通过从网络上收集了 68 万小时的多语言（98 种语言）和多任务（multitask）监督数据对 Whisper 进行了训练。OpenAI 认为使用这样一个庞大而多样的数据集，可以提高对口音、背景噪音和技术术语的识别能力。除了可以用于语音识别，Whisper 还能实现多种语言的转录，以及将这些语言翻译成英语。
Whisper-large-v2 模型的应用案例分享
gitblog_02480的博客
12-11 512
Whisper-large-v2 模型的应用案例分享 whisper-large-v2 项目地址: https://gitcode.com/mirrors/openai/whisper-large-v2 ...
Whisper——部署fast-whisper中文语音识别模型
Irving.Gao的博客
01-13 8095
需要其他版本的可以自己下载：https://huggingface.co/openai。
openai whisper使用
Jockson song的博客
08-21 1435
Whisper是一种通用的语音识别模型。它是在大量不同音频数据集上训练的，也是一个多任务模型，可以执行多语言语音识别、语音翻译和语言识别。
Whisper 模型在实时语音转录中有哪些具体的应用场景？
借雨醉东风的博客
09-11 1816
Whisper模型在实时语音转录中具有广泛的应用场景，这些场景涵盖了日常生活、工作学习、无障碍辅助等多个方面。以下是几个具体的应用场景：
AI语音识别神器Openai Whisper对中文的支持如何？
热门推荐
撸啊撸的博客
03-25 1万+
语音识别一直以来都是人工智能领域中一个不容忽视的技术，随着大模型时代的到来，这项技术也发生了质的变化。凡是在AI相关的讨论中，语音识别绝对是一个高热的话题。目前开源的语音识别软件中，Openai Whisper绝对是霸主的存在，他在这方面的表现甚至超越了很多商用的产品，那么Openai Whisper对中文的支持如何呢，今天我们来简单测试一下。从上面的测试可以看出，对标准的普通话来说，识别已经相当成功了，同时最让我惊讶的是，他对粤语的识别竟然错误率这么低，基本上是翻译了过来。
大模型系列：OpenAI使用技巧_Whisper提示指南
数智笔记
01-02 2002
例如，如果您提交了一个尝试的指令，如“以Markdown格式格式化列表”，模型将不会遵守，因为它遵循提示的风格，而不是其中包含的任何指令。然而，如果我们以小写的虚构提示“president biden”传入，Whisper会匹配风格并生成一个全小写的转录。为了让Whisper使用我们偏爱的拼写，让我们将产品和公司名称作为提示传递，作为Whisper遵循的词汇表。现在，让我们切换到另一个专门为此演示制作的音频记录，主题是一个奇怪的烧烤。为了获得良好的结果，请设计能够展现您所期望的风格的示例。
Whisper: openAI开源准确率最高的通用语言语音识别
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
01-13 2765
我们研究了仅通过预测大量互联网音频录音的语音处理系统的能力。当扩大到68万小时的多语言和多任务监督时，生成的模型可以很好地泛化到标准基准，而且通常可以与之前的全监督结果相竞争，但在zero-shot识别设置中，无需进行任何微调。与人类相比，这些模型接近他们的准确性和鲁棒性。我们正在发布模型和推理代码，以便为进一步的鲁棒性语音处理工作提供基础。
Whisper-large-v2 模型安装与使用指南
gitblog_02810的博客
12-12 1800
Whisper-large-v2 模型安装与使用指南 whisper-large-v2 项目地址: https://gitcode.com/mirrors/openai/whisper-large-v2 ...
OpenAI Whisper入门指南
宋志辉的博客
04-04 536
Whisper是一款功能强大的语音识别模型,使用简单,支持多语种。本文介绍了它的安装方法、基本使用,以及一些高级功能。通过Whisper,你可以轻松地将语音转录为文字,为语音应用开发提供可靠的支持。
Whisper
03-21
Whisper
OpenAI 开源的免费 AI 语音转文字工具 - Whisper，一步一步本地部署运行
TechAI的博客
03-21 6807
Whisper 是 OpenAI 研发的一个通用的语音识别模型，可以把语音转为文本。它在大量多样化的音频数据集上进行训练，同时还是一个多任务模型，可以执行多语言语音识别、语音翻译和语言识别
如何构建中英文混合的语音识别模型？
q6q6q的专栏
10-27 1149
outline:一、构建基于HMM的中英文混合语音识别系统1、 识别系统基本架构2、 音子集的构建3、 数据的准备二、构建基于end-to-end的中英文混合语音识别系统-------------------------------------------------------------------------一、构建基于HMM的中英文混合语音识别系统1、识别系统基本架构利用通用的音子集建立一...
OpenAI 发布新语音系统「Whisper 」，英文识别能力可接近人类水平
Hinyeung2021的博客
09-23 503
9月21日，OpenAI 发布了一个名为「Whisper 」的神经网络，声称其在英语语音识别方面已接近人类水平的鲁棒性和准确性。
深度解析Whisper-large-v2模型：配置与环境要求
gitblog_02893的博客
01-18 526
深度解析Whisper-large-v2模型：配置与环境要求 whisper-large-v2 项目地址: https://gitcode.com/mirrors/openai/whisper-large-v2 ...
Whisper开源免费的语音识别：OpenAI如何用AI改变字幕制作与语音理解的未来！
qq1075222382的博客
05-06 1498
OpenAI在2022年底至2023年初期间发布了Whisper这一项目，它是一个深度学习模型，专为语音识别和翻译任务设计。Whisper不仅支持多种语言（共98种），还声称其英语语音识别的准确性达到了人类水平，这使得它成为一个引人注目的技术突破。
Whisper Large-v2：引领自动语音识别新篇章
gitblog_02800的博客
12-16 800
Whisper Large-v2：引领自动语音识别新篇章 whisper-large-v2 项目地址: https://gitcode.com/mirrors/openai/whisper-large-v2 ...
【MacOS】openai 语音识别模型 whisper 本地部署教程（cpu+mps方案）
weixin_47662299的博客
02-27 6499
一些艰辛的解决报错历程 目前macOS+whisper+mps的文章好像比较少 发一个分享一下 如果有帮到大家 请多多点赞～
whisper训练自己的数据集语音识别模型的步骤
最新发布
03-25
<think>嗯，用户想了解如何使用Whisper训练自定义数据集来构建语音识别模型。首先，我需要回忆一下Whisper的基本信息。Whisper是OpenAI开源的自动语音识别模型，支持多语言，基于Transformer架构，对吧？用户提到的引用里提到项目Whisper-Finetune支持不同训练模式，包括无时间戳数据的情况，这可能对数据准备有帮助。 用户需要详细的步骤和教程，所以得按流程来。首先应该是环境配置，然后数据准备，接着模型训练，最后是部署。引用里的资料提到需要安装PyTorch和TensorFlow，可能还需要Hugging Face的库，比如Transformers和Datasets。数据准备的格式可能需要音频文件加对应的文本，可能需要处理成特定结构，比如数据集目录，每个音频文件对应一个文本文件。 数据预处理方面，可能需要使用Whisper自带的特征提取器，将音频转为log-Mel频谱图。然后要处理文本标签，比如分词和编码。这里要确保数据格式符合模型输入要求，可能需要使用WhisperProcessor来处理音频和文本。 训练部分，用户可能需要加载预训练模型，设置训练参数，比如学习率、批次大小，使用Hugging Face的Trainer类来简化训练过程。引用中提到的项目Whisper-Finetune可能提供了训练脚本或示例代码，可以参考他们的实现，特别是如何处理不同训练模式，比如带时间戳或不带时间戳的数据。 微调后的模型保存和评估也很重要，用户可能想知道如何测试模型效果，比如使用WER（词错误率）作为指标。部署方面，引用提到支持Web、Windows和Android部署，可能需要将模型导出为ONNX或其他格式，或者使用相应的框架进行封装。 可能还需要注意一些常见问题，比如数据集规模、计算资源要求，以及如何处理多语言的情况。用户如果数据集较小，可能需要数据增强或者迁移学习的技巧。另外，引用中提到的Google Drive集成可能帮助用户存储数据和模型，特别是在Colab环境下运行训练时。 最后，用户的问题可能还涉及具体的代码示例，比如如何加载模型、准备数据集、训练循环等。需要确保代码示例正确，并符合用户的环境配置，比如使用正确的库版本。同时，提醒用户注意依赖项的安装，避免版本冲突。</think>### 使用 Whisper 训练自定义数据集的详细步骤 #### 1. **环境配置** - **安装依赖库**：需安装 PyTorch、Hugging Face Transformers 和 Datasets 库： ```bash pip install torch transformers datasets datasets[audio] jiwer ``` - **GPU 支持**：确保 CUDA 环境已配置，以加速训练[^4]。 #### 2. **数据准备** - **数据集格式**：音频文件（如 `.wav`）需与对应文本标注文件（`.txt`）配对，目录结构示例： ``` dataset/ ├── audio/ │ ├── sample1.wav │ └── sample2.wav └── labels/ ├── sample1.txt └── sample2.txt ``` - **格式转换**：若音频非 16kHz 采样率，需使用工具（如 `ffmpeg`）转换： ```bash ffmpeg -i input.mp3 -ar 16000 output.wav ``` #### 3. **数据预处理** - **加载 Whisper 处理器**： ```python from transformers import WhisperProcessor processor = WhisperProcessor.from_pretrained("openai/whisper-small") ``` - **特征提取与标注处理**： ```python def prepare_dataset(batch): audio = batch["audio"]["array"] batch["input_features"] = processor(audio, sampling_rate=16000).input_features[0] batch["labels"] = processor.tokenizer(batch["text"]).input_ids return batch ``` #### 4. **模型加载与训练配置** - **加载预训练模型**： ```python from transformers import WhisperForConditionalGeneration model = WhisperForConditionalGeneration.from_pretrained("openai/whisper-small") model.config.forced_decoder_ids = None # 禁用强制语言标记 ``` - **设置训练参数**： ```python from transformers import Seq2SeqTrainingArguments training_args = Seq2SeqTrainingArguments( output_dir="./results", per_device_train_batch_size=8, learning_rate=1e-5, num_train_epochs=3, fp16=True # 启用混合精度训练 ) ``` #### 5. **训练与评估** - **使用 Hugging Face Trainer**： ```python from transformers import Seq2SeqTrainer trainer = Seq2SeqTrainer( model=model, args=training_args, train_dataset=dataset, tokenizer=processor.tokenizer ) trainer.train() ``` - **计算词错误率 (WER)**： ```python from evaluate import load wer_metric = load("wer") predictions = model.generate(input_features) wer = wer_metric.compute(predictions=predictions, references=labels) ``` #### 6. **模型部署（示例：Web API）** ```python from flask import Flask, request import torchaudio app = Flask(__name__) @app.route("/transcribe", methods=["POST"]) def transcribe(): audio_file = request.files["audio"] waveform, sr = torchaudio.load(audio_file) inputs = processor(waveform, return_tensors="pt", sampling_rate=16000) output = model.generate(inputs.input_features) text = processor.batch_decode(output, skip_special_tokens=True)[0] return {"text": text} ``` ### 关键注意事项 - **数据规模**：建议至少 100 小时语音数据以保障效果[^3]。 - **计算资源**：训练 `whisper-large` 需 16GB 以上 GPU 显存。 - **多语言支持**：通过设置 `language` 参数指定目标语言： ```python forced_decoder_ids = processor.get_decoder_prompt_ids(language="zh", task="transcribe") ``` ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值