语音识别开源框架 openAI-whisper

已于 2023-07-14 22:29:32 修改
阅读量4.1k 收藏 11
点赞数 3
文章标签： 语音识别 人工智能
于 2023-07-14 16:59:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/okyanxingkui/article/details/131726943
版权

Whisper 是一种通用的语音识别模型。 它是OpenAI于2022年9月份开源的在各种音频的大型数据集上训练的语音识别模型，也是一个可以执行多语言语音识别、语音翻译和语言识别的多任务模型。

GitHub - yeyupiaoling/Whisper-Finetune: 微调Whisper语音识别模型和加速推理，支持Web部署和Android部署

Whisper Webui - a Hugging Face Space by aadnk

微调Whisper语音识别模型和加速推理_夜雨飘零1的博客-CSDN博客

Openai-Whisper识别生成语音/视频字幕文件（支持自动翻译） - 哔哩哔哩

Whisper OpenAI开源语音识别模型_开源语音识别算法_Sanfor的博客-CSDN博客

conda create -n whisper python=3.9

conda activate whisper

pip install git+https://github.com/openai/whisper.git

whisper audio.mp3 --model medium --language Chinese

解决输出繁体中文不输出简体中文问题：

whisper --language Chinese --model large audio.mp3 --initial_prompt "以下是 普通话句子"

就中文而言，Whisper各模型：

  • tiny 是没有做断句的，或者说，直接根据停顿断句
  • base 已经开始根据逻辑断句，但会出语法错误
  • small 已经很少语法错误，但断句水平却直线下降，很奇怪
  • medium 不仅能够完美的断句，还能判断语气

可以看出，飞书妙记给用户开放的转写能力大约在 tiny 到 base 之间（转写速度也在 tiny 左右，已经很快了）

值得指出的是，这里的对比，目的并不是比较二者的技术，否则对于飞书妙计相当的不公平，作为一款消费级应用，它不可能给用户跑medium等级的模型来做转写

对比的意义是，Whisper，作为一个开源模型，和消费级产品比起来怎么样？

答案是，完全可以替代，用 small 模型足以实现当下的免费体验了。

甚至，用 medium 以上的模型，可以用「时间」换「好得多的使用体验」

Whisper—通用的语音识别模型 - 知乎

https://www.bilibili.com/read/cv19254244

openai开源的whisper在huggingface中使用例子（语音转文字中文）_语音识别_qq_37401291-开发者创业生态社区

OpenAI 开源音频转文字模型 Whisper 尝鲜 - 少数派

Whisper—通用的语音识别模型 - 知乎

https://github.com/PaddlePaddle/PaddleSpeech/tree/develop/demos/speech_web

OpenAI 开源语音识别模型 Whisper - OSCHINA - 中文开源技术交流社区

OpenAI Whisper中文语音识别效果尝试和应用（一）_迷途的小朋友的博客-CSDN博客

GitHub - openai/whisper: Robust Speech Recognition via Large-Scale Weak Supervision

OpenAI Whisper中文语音识别效果尝试和应用（一）_迷途的小朋友的博客-CSDN博客

OpenAI Whisper 入门指南：打造你的第一个语音识别系统
AI智能探索者的博客
04-10 1132
本指南的主要目的是引导读者从零开始，利用 OpenAI Whisper 构建一个简单的语音识别系统。我们将涵盖从 OpenAI Whisper 的基本概念到实际项目实现的全过程，包括环境搭建、代码编写和结果分析。通过本指南，读者将能够了解 OpenAI Whisper 的工作原理，掌握使用它进行语音识别的基本技能，并能够在实际项目中应用这些知识。背景介绍：介绍本指南的目的、预期读者和文档结构，以及相关术语的定义。核心概念与联系。
开源模型应用落地-语音转文本-openai-STT服务-AIGC应用探索（四）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
06-03 1万+
学习OpenAI付费的语音识别服务，实现将语音转换成文本
基于OpenAI的Whisper构建的高效语音识别模型：faster-whisper
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
12-29 1万+
faster-whisper是基于OpenAI的Whisper模型的高效实现，它利用CTranslate2，一个专为Transformer模型设计的快速推理引擎。这种实现不仅提高了语音识别的速度，还优化了内存使用效率。faster-whisper的核心优势在于其能够在保持原有模型准确度的同时，大幅提升处理速度，这使得它在处理大规模语音数据时更加高效。
分享 | 开源的中文语音识别系统
q6q6q的专栏
10-27 3141
原标题：分享 | 开源的中文语音识别系统语音识别目前已经广泛应用于各种领域，那么你会想做一个自己的语音识别系统吗？这篇文章介绍了一种开源的中文语音识别系统，读者可以借助它快速训练属于自己的中文语音识别模型，或直接使用预训练模型测试效果。所以对于那些对语音识别感兴趣的读者而言，这是一个学习如何搭建 ASR 系统的极好资料。ASRT 是一套基于深度学习实现的语音识别系统，全称为 Auto Speech...
常用语音识别开源四大工具：Kaldi，PaddleSpeech，WeNet，EspNet
声纹感知 洞察芯声
05-03 1万+
无论是基于成本效益还是社区支持，我都坚决认为开源才是推动一切应用的动力源泉。下面推荐语音识别开源工具：Kaldi，Paddle，WeNet，EspNet。
语音识别开源框架
Swaggie的笔记博客
06-19 2493
A Transformer sequence-to-sequence model is trained on various speech processing tasks, including multilingual speech recognition, speech translation, spoken language identification, and voice activity detection. These tasks are jointly represented as a se
语音识别开源项目
热门推荐
github_19776427的专栏
09-13 7万+
语音识别项目： http://www.oschina.net/project/tag/203/tts-speech   sf.net   http://www.codesoso.net/Search?q=%D3%EF%D2%F4%CA%B6%B1%F0&l=c http://search.codesoso.com/Search?q=%E8%AF%AD%E9%9F
重磅！阿里开源自研语音识别模型DFSMN，准确率高达96.04%
阿里技术
06-08 3702
阿里妹导读：近日，阿里巴巴达摩院机器智能实验室开源了新一代语音识别模型DFSMN，将全球语音识别准确率纪录提高至96.04%（这一数据测试基于世界最大的免费语音识别数据库...
OpenAI Whisper：开源界的语音识别神器
coderroad的博客
01-02 603
是一个多功能的，通过从网络上收集了 68 万小时的多语言（98 种语言）和多任务（multitask）监督数据对 Whisper 进行了训练，能够执行包括多种语言的语音识别、语音翻译以及语言辨识等多项任务。
开源模型应用落地-语音转文本-whisper模型-AIGC应用探索（一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
05-29 1万+
学习OpenAI开源的Whisper语音识别模型，帮助用户将语音转换成文本
语音识别框架系统
01-27
语音识别，C++代码；
语音识别开源软件
11-04
语音识别开源软件，通过这个开源软件能够快速开发出相关语音识别设备
开源模型应用落地-语音转文本-whisper模型-AIGC应用探索（二）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
05-30 1万+
学习OpenAI开源的Whisper语音识别模型，并集成FastAPI对外提供语音识别服务
Whisper使AI人工智能语音识别更精准可靠
最新发布
AI天才研究院
04-05 607
本文旨在深入解析Whisper语音识别系统的核心技术原理、架构设计和实现细节。我们将探讨Whisper如何利用大规模弱监督训练和Transformer架构实现前所未有的语音识别准确率，特别是在噪声环境、口音变化和专业术语识别等挑战性场景中的表现。本文首先介绍Whisper的基本概念和技术背景，然后深入分析其核心架构和算法原理。接着我们将探讨数学模型和训练方法，提供实际代码示例，并讨论应用场景和优化策略。最后，我们将展望Whisper技术的未来发展方向和潜在挑战。Whisper。
本地部署，Whisper: 开源语音识别模型
07-24 2871
Whisper 是一个由 OpenAI 训练的强大的开源语音识别模型，它可以将语音转换为文本。Whisper 支持多种语言和语音，并且能够识别不同口音和背景噪音。它在各种语音识别任务中表现出色，包括语音转文本、语音翻译和语音命令识别。Whisper 是一个强大且易于使用的开源语音识别模型，它可以应用于各种场景。其多语言支持、高精度和鲁棒性使其成为语音识别任务的理想选择。t=N7T8。
OpenAI 开源语音识别 Whisper
ejinxian的专栏
09-27 3505
Whisper 是一个自动语音识别（ASR，Automatic Speech Recognition）系统，OpenAI 通过从网络上收集了 68 万小时的多语言（98 种语言）和多任务（multitask）监督数据对 Whisper 进行了训练。解码器被训练来预测相应的文本标题，并混合特殊标记，指示单一模型执行诸如语言识别、短语级时间戳、多语言语音转录和英语语音翻译等任务。是一个通用语音识别模型。它是在各种音频的大型数据集上训练的，也是一个多任务模型，可以执行多语言语音识别以及语音翻译和语言识别。
适合新手开发的开源语音识别模型项目——ChatTTS 推荐！
thinkersone的博客
06-25 555
  hatTTS是一个基于Python的自然语言处理模型，它使用TensorFlow和NLTK库进行语音识别和文本生成。这个项目旨在提供一个易于使用的工具，以便开发人员可以轻松地将语音识别和文本生成功能集成到他们的应用程序中。
OpenAI 开源语音识别模型 Whisper 初体验
天健行以自强不息，地势坤以厚德载物。
10-25 1万+
Whisper 是一个自动语音识别（ASR，Automatic Speech Recognition）系统，OpenAI 通过从网络上收集了 68 万小时的多语言（98 种语言）和多任务（multitask）监督数据对 Whisper 进行了训练。OpenAI 认为使用这样一个庞大而多样的数据集，可以提高对口音、背景噪音和技术术语的识别能力。除了可以用于语音识别，Whisper 还能实现多种语言的转录，以及将这些语言翻译成英语。
insanely-fast-whisper
03-30
<think>嗯，用户问的是“insanely-fast-whisper”，我需要先弄清楚这是什么。首先，我知道Whisper是OpenAI开源的语音识别模型，对吧？那这个“insanely-fast”可能是指一个加速版的Whisper。可能是一个优化过的库或者工具，用来提升Whisper的处理速度。 接下来，我应该确认这个项目的来源。通常这样的项目会在GitHub上，所以可能需要查一下。比如，是否有第三方开发者对Whisper进行了优化，或者使用了更高效的推理框架，比如CTranslate2之类的。因为CTranslate2可以转换Hugging Face的模型，并进行加速，这可能是其中的一个技术点。 然后，用户可能想知道这个工具的特点，比如速度提升多少，使用了什么技术，如何实现的。比如，是否通过模型量化、批量处理、硬件加速（如GPU）等方法。另外，可能还涉及如何安装和使用，有没有代码示例。 另外，可能还要比较一下原版Whisper和这个加速版本的区别，比如准确度有没有损失，支持的模型版本，适用的场景等。用户可能关心是否在速度提升的同时保持了较高的识别准确率。 还需要考虑用户的使用场景。如果他们需要处理大量音频文件，或者实时语音转写，那么速度就很重要。这时候介绍这个工具的优势，比如处理时间减少，资源消耗降低，会很有帮助。 可能还需要注意这个库的依赖项，比如是否必须要有GPU，或者是否支持多平台。安装步骤是否复杂，有没有兼容性问题。例如，是否基于PyTorch，或者需要特定的CUDA版本。 另外，用户可能想知道如何集成到现有项目中，有没有API或者命令行工具，或者是否支持多种音频格式。这些信息对用户来说也很实用。 最后，可能需要提供一些示例代码，展示如何快速使用这个库，比如加载模型、处理音频文件，得到转录结果。这样用户可以直接参考并开始使用。 总结一下，回答的结构应该是先介绍项目是什么，然后说明技术原理和优势，接着讲安装和使用方法，最后给出示例和适用场景。同时要确保回答准确，技术细节正确，比如确实使用了CTranslate2或者其他的优化技术，并且速度提升的数据是否有依据，比如官方文档或基准测试的结果。</think>以下是对`insanely-fast-whisper`的逐步解析： --- ### 1. **项目定义** `insanely-fast-whisper`是一个基于OpenAI Whisper模型优化的**高速语音识别工具**，由社区开发者[Sanchit Gandhi](https://github.com/sanchit-gandhi)创建。其核心目标是通过技术优化，将Whisper的推理速度提升至**接近实时**的水平（例如：1小时音频仅需1分钟处理）。 --- ### 2. **核心技术** #### 2.1 速度优化原理 - **CTranslate2引擎**：将原始PyTorch模型转换为高效推理格式，利用CPU/GPU硬件加速。 - **量化压缩**：将模型权重从`FP32`压缩为`INT8`，体积缩小4倍，推理速度提升2-4倍。 - **批处理与并行化**：动态批处理请求+多线程计算，最大化硬件利用率。 - **内存优化**：减少中间变量冗余，降低显存占用。 #### 2.2 性能对比 | 指标 | 原版Whisper-large-v2 | insanely-fast-whisper | |--------------------|----------------------|-----------------------| | 1小时音频处理时间 | ~10分钟 (GPU V100) | **~1分钟** (GPU V100) | | 显存占用 | ~10GB | ~4GB | | 支持量化 | ❌ | ✅ (INT8/FP16) | --- ### 3. **使用方法** #### 3.1 安装 ```bash pip install insanely-fast-whisper ``` #### 3.2 示例代码 ```python from insanely_fast_whisper import load_model model = load_model("large-v2", quantize=True) # 加载量化模型 result = model.transcribe("audio.mp4", language="zh", beam_size=5) print(result["text"]) ``` #### 3.3 参数说明 - `quantize=True`：启用INT8量化（速度最快，精度略降） - `beam_size`：控制解码搜索宽度，值越大精度越高但速度越慢 - `language`：强制指定语言（如`zh`中文）可减少识别错误 --- ### 4. **适用场景** - **长音频处理**：播客、会议录音（>30分钟） - **实时转录**：结合音频流输入（如直播） - **资源受限环境**：低显存GPU或纯CPU部署 --- ### 5. **局限性** - **量化精度损失**：INT8模型在复杂口音/背景噪声下错误率略高 - **依赖硬件加速**：纯CPU模式速度提升有限（建议搭配GPU使用） --- ### 6. **替代方案对比** | 工具 | 优势 | 劣势 | |-------------------------|-------------------------------|--------------------------| | insanely-fast-whisper | 极致速度，低显存占用 | 需重新量化模型 | | Faster-Whisper | 易用性高，支持更多模型 | 速度稍慢 | | Whisper.cpp | 纯CPU运行，跨平台支持 | 需要编译，中文支持较弱 | --- 如需进一步优化，可尝试： 1. 使用`flash_attention_2`加速注意力计算 2. 启用`fp16`半精度模式平衡速度与精度 3. 对中文音频添加`initial_prompt="以下是普通话内容。"`提升专有名词识别
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

默行客

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值