微调Whisper语音识别模型和加速推理

最新推荐文章于 2024-06-26 09:31:10 发布
最新推荐文章于 2024-06-26 09:31:10 发布
阅读量148 收藏
点赞数 1
分类专栏： # LLM/部署 文章标签： whisper 语音识别 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/139891582
版权

前言

OpenAI在开源了号称其英文语音辨识能力已达到人类水准的Whisper项目，且它亦支持其它98种语言的自动语音辨识。Whisper所提供的自动语音识与翻译任务，它们能将各种语言的语音变成文本，也能将这些文本翻译成英文。本项目主要的目的是为了对Whisper模型使用Lora进行微调，支持无时间戳数据训练，有时间戳数据训练、无语音数据训练。目前开源了好几个模型，具体可以在openai查看，下面列出了常用的几个模型。另外项目最后还支持CTranslate2加速推理和GGML加速推理，提示一下，加速推理支持直接使用Whisper原模型转换，并不一定需要微调。支持Windows桌面应用，Android应用和服务器部署。

支持模型

  • openai/whisper-tiny
  • openai/whisper-base
  • openai/whisper-small
  • openai/whisper-medium
  • openai/whisper-large
  • openai/whisper-large-v2
  • openai/whisper-large-v3

Whisper-Finetune: 微调Whisper语音识别模型，支持无时间戳数据训练，有时间戳数据训练、无语音数据训练。加速推理，支持Web部署、Windows桌面部署和Android部署 - Gitee.com 

u013250861
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
基于本地+cpu的whisper语音模型微调、推理实践（灵活简单、可按照自身需求进行调整）
04-08
对于在windows与cpu下，对whisper语音模型进行微调，并进行评估，推理。针对在微调与推理过程中出现的错误，已经在本文中有相关解决方法。按照文件中所给数据集的形式，可以根据自身需求对自己的数据进行处理，放到模型即可完成微调。可以根据自身的需要进行设置GPU、分布式训练资源进行微调。在此工程中的数据集较小，且选择的模型为whisper-tiny，已经下载到本地，如有需求，可以进行下载较大的模型。可以根据我的文章《关于hugginface模型在本地的使用，此处以语音文件为例》进行下载相关的模型。
AI语音识别神器Openai Whisper测试音频
03-20
AI语音识别神器Openai Whisper测试音频
探索Whisper模型的新维度：微调与高效推理实践
最新发布
gitblog_00051的博客
06-26 468
探索Whisper模型的新维度：微调与高效推理实践 项目地址:https://gitcode.com/shuaijiang/Whisper-Finetune ???? 打破界限，让语音识别更智能——欢迎来到Whisper-Finetune开源项目! ???? Whisper是由OpenAI开发的一款强大的多语言语音识别模型，其性能达到了人类水平。现在，借助于Whisper-Finetune，您可以进一步定制模...
使用 SageMaker 对 Whisper 模型进行微调及部署
沐霜枫叶
11-14 764
Whisper 作为 OpenAI 最新开源的自动语音识别（ASR）模型，采用了编码器-解码器（encoder- decoder）transformer架构，并使用了 68 万小时的从互联网收集的多语言、多任务的已标注数据进行训练。根据其论文显示，Whisper 模型在无需微调（zero-shot）的情况下，在多个数据集的测试上鲁棒性更高，错误率更低。关于 Whisper 模型的更多细节，参见其官方网站以及。
whisper模型微调
MrLi的博客
05-16 954
本文详细介绍了Whisper模型的微调过程包括准备数据集、数据预处理、选择微调算法、训练模型、评估模型性能和部署模型等步骤，并阐述了该模型的特点和优势。未来随着深度学习技术的不断发展和优化算法的不断涌现我们相信Whisper模型将会在语音识别领域发挥更加重要的作用并推动相关技术的进步和应用。其中，OpenAI的Whisper模型以其出色的性能和广泛的适用性，成为了ASR领域的佼佼者。鲁棒性强：Whisper模型对于口音、噪声等干扰因素具有较强的鲁棒性，能够在复杂的环境中进行准确的语音识别。
如何使用SageMaker对Whisper模型进行微调及部署？
聚搜云_上海聚搜信息技术有限公司
08-22 258
SageMaker同样提供了多种方式进行模型部署，包括通过Amazon API Gateway或AWS Lambda对外部程序提供API服务的方式以及直接将模型部署在EC2实例等。在机器学习领域中，微调(pre-trained model fine-tuning)是一个流行的技巧，它利用已训练好的模型，在此基础之上对新数据进行微调以提高准确性。本文将以使用内置算法为例，您只需要上传您的数据集和训练脚本，SageMaker会在指定实例上自动完成模型训练，训练好的模型会自动存储在S3上。
快速微调 Whisper 模型：LoRA 加速版
gitblog_00088的博客
05-08 931
快速微调 Whisper 模型：LoRA 加速版 项目地址:https://gitcode.com/Vaibhavs10/fast-whisper-finetuning 简述 在当今的AI世界中，模型的大小和复杂性已成为性能的关键驱动力。然而，这也带来了新的挑战：如何在有限的资源下对大型模型进行有效且高效的微调？现在，借助开源项目——Faster Whisper Finetuning with L...
基于faster whisper实时语音识别语音转文本python源码
12-31
模块： fast_whisper pyaudio 博客地址：blog.csdn.net/FL1623863129/article/details/135319194 视频演示：bilibili.com/video/BV1fQ4y1j7wb
使用 Whisper for Apple Silicon 实现快速的原生设备端语音识别
03-04
将 OpenAI 流行的 Whisper 语音识别模型与 Apple 的 CoreML 框架集成在一起，以便在 Apple 设备上进行高效的本地推理。 先决条件 macOS 14.0 或更高版本。 Xcode 15.0 或更高版本。 步骤 1.在 Xcode 中打开 Swift ...
使用 Transformers 为多语种语音识别任务微调 Whisper 模型
2301_78834737的博客
07-10 1646
Whisper 是一系列用于自动语音识别 (automatic speech recognition，ASR) 的预训练模型，它由来自于 OpenAI 的 Alec Radford 等人于2022 年 9 月发布。与等前作不同，以往的模型都是在未标注的音频数据上预训练的，而 Whisper 是在大量的已标注音频转录数据上预训练的。其用于训练的标注音频时长高达 68 万小时，比 Wav2Vec 2.0 使用的未标注训练数据 (6 万小时) 还多一个数量级。
使用 Transformers 为多语种语音识别任务微调 Whisper 模型
Hugging Face
06-27 2500
本文提供了一个使用 Hugging Face ???? Transformers 在任意多语种语音识别 (ASR) 数据集上微调 Whisper 的分步指南。同时，我们还深入解释了 Whisper 模型、Common Voice 数据集以及微调等理论知识，并提供了数据准备和微调的相关代码。如果你想要一个全部是代码，仅有少量解释的 Notebook，可以参阅这个 Google Colab。目录简介在 Go...
openai开源的whisper在huggingface中使用例子（语音转文字中文）
qq_37401291的博客
01-20 6395
openai开源的whisper在huggingface中使用例子（语音转文字中文）
whisper
weixin_45259560的博客
12-30 1506
whisper翻译
语音识别开源框架 openAI-whisper
AI炼丹师的专栏
07-14 3838
https://github.com/PaddlePaddle/PaddleSpeechhttps://github.com/PaddlePaddle/PaddleSpeech/tree/develop/demos/speech_webOpenAI 开源语音识别模型 Whisper - OSCHINA - 中文开源技术交流社区OpenAI Whisper中文语音识别效果尝试和应用（一）_迷途的小朋友的博客-CSDN博客GitHub - openai/whisper: Robust Speech Recogn
使用推测解码 (Speculative Decoding) 使 Whisper 实现 2 倍的推理加速
Hugging Face
01-10 1686
Open AI 推出的 Whisper 是一个通用语音转录模型，在各种基准和音频条件下都取得了非常棒的结果。最新的 large-v3 模型登顶了 OpenASR 排行榜，被评为最佳的开源英语语音转录模型。该模型在 Common Voice 15 数据集的 58 种语言中也展现出了强大的多语言性能，在 42 种语言上的单词错误率 (WER) 低于 30％。尽管转录准确度非常优秀，但推理速度非常缓慢。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值