【小沐学AI】Python实现语音识别（faster-whisper）

最新推荐文章于 2025-03-03 14:34:45 发布
最新推荐文章于 2025-03-03 14:34:45 发布
阅读量6.2k 收藏 54
点赞数 15
分类专栏： Python AI 文章标签： 人工智能 python 语音识别 whisper fast-whisper nlp ai
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hhy321/article/details/139895906
版权

文章目录

1、简介

https://github.com/SYSTRAN/faster-whisper
https://pypi.org/project/faster-whisper/

Faster-Whisper是Whisper开源后的第三方进化版本，它对原始的 Whisper 模型结构进行了改进和优化。
faster-whisper 是使用 CTranslate2 重新实现 OpenAI 的 Whisper 模型，CTranslate2 是 Transformer 模型的快速推理引擎。

此实现比 openai/whisper 快 4 倍，同时使用更少的内存实现相同的准确性。通过对 CPU 和 GPU 进行 8 位量化，可以进一步提高效率。

1.1 CTranslate2

https://github.com/OpenNMT/CTranslate2/
CTranslate2 是一个 C++ 和 Python 库，用于使用 Transformer 模型进行高效推理。
该项目实现了一个自定义运行时，该运行时应用了许多性能优化技术，例如权重量化、层融合、批量重新排序等，以加速和减少 Transformer 模型在 CPU 和 GPU 上的内存使用。

CTranslate2 可以用 pip 安装：

pip install ctranslate2

1.2 Intel MKL

获取英特尔® oneAPI 数学核心函数库 （oneMKL）

https://www.intel.com/content/www/us/en/developer/tools/oneapi/onemkl.html
https://www.intel.cn/content/www/cn/zh/developer/tools/oneapi/onemkl-download.html

CTranslate2 的核心是其高度优化的模型推理实现。它支持多种硬件平台，包括 CPU 和 GPU，并利用了底层的并行计算库如 Intel MKL 或者 cuDNN 来最大化性能。

1.3 cuDNN

https://developer.nvidia.com/cudnn
NVIDIA CUDA® 深度神经网络库 （cuDNN） 是用于深度神经网络的 GPU 加速基元库。cuDNN 为标准例程（如前向和后向卷积、注意力、matmul、池化和归一化）提供高度优化的实现。

1.4 Transformer

https://arxiv.org/pdf/1706.03762
目前，自然语言处理中，有三种特征处理器：卷积神经网络、递归神经网络和后起之秀 Transformer。Transformer 风头已经盖过两个前辈，它抛弃了传统的卷积神经网络和递归神经网络，整个网络结构完全是由注意力机制组成。准确地讲，Transformer 仅由自注意力和前馈神经网络组成。

在这里插入图片描述
在这里插入图片描述

2、下载和安装

2.1 命令行

https://github.com/Purfview/whisper-standalone-win
Whisper & Faster-Whisper 独立可执行文件，适合那些不想打扰 Python 的人。
在这里插入图片描述
解压文件夹如下：
在这里插入图片描述
测试如下：

whisper-faster.exe "D:\videofile.mkv" --language English --model medium --output_dir source
whisper-faster.exe "D:\videofile.mkv" -l English -m medium -o source --sentence
whisper-faster.exe "D:\videofile.mkv" -l Japanese
最低0.47元/天 解锁文章
基于FasterWhisper的音频转换文本
Mr数据杨
04-10 1045
FasterWhisper以极高的识别速度和精确度，为音频转文本和实时语音处理提供了卓越的解决方案。通过轻量级的模型设计及支持GPU加速的特性，FasterWhisper不仅适用于自动生成字幕、会议记录、语音助手等应用，还能在资源受限的设备上实现平稳高效的运行。无论在初学者或是高级开发者手中，FasterWhisper都能够通过便捷的接口和灵活的模型选择，满足多样化的使用需求。音频转文本的应用领域广泛，而FasterWhisper无疑是实现这些应用的理想工具。
【小沐学AI】Python实现语音识别（faster-whisper-webui）
爱看书的小沐
06-30 2218
Whisper 是一种通用语音识别模型。它是在各种音频的大型数据集上训练的，也是一个多任务模型，可以执行多语言语音识别、语音翻译和语言识别。OpenAI 的开源模型 whisper，可以执行 99 种语言的语音识别和文字转写。但是 whisper 模型占用计算资源多，命令行使用门槛高。whisper 模型本身还存在一些问题，例如 模型幻听问题。Whisper是可以理解多种语言的自动语音识别（）系统。它已经接受了从网络收集的 680,000 小时监督数据的训练。
fasterwhisper 常用模型网盘下载地址
04-11
models--Systran--faster-whisper-base models--Systran--faster-whisper-large-v1 models--Systran--faster-whisper-large-v2 models--Systran--faster-whisper-large-v3 models--Systran--faster-whisper-medium models--Systran--faster-whisper-small models--Systran--faster-whisper-tiny 常用模型下载，使用教程 基于FasterWhisper的音频转换 https://datayang.blog.csdn.net/article/details/137589855
Faster Whisper Large-v3 模型安装与使用教程
gitblog_02879的博客
12-12 7526
Faster Whisper Large-v3 模型安装与使用教程 faster-whisper-large-v3 项目地址: https://gitcode.com/mirrors/Systran/faster-whisper...
视频语音转文本工具 ——SubtitleEdit
最新发布
2301_79959211的博客
03-03 871
SubtitleEdit 是一款功能强大且免费的字幕编辑软件，它不仅支持多种字幕格式的编辑、转换，还具备视频语音转文本功能。
探索语音转文本的未来：Faster-Whisper 及 Whisper 独立可执行程序
gitblog_00097的博客
06-21 2267
探索语音转文本的未来：Faster-Whisper 及 Whisper 独立可执行程序 去发现同类优质开源项目:https://gitcode.com/ 在人工智能领域中，语音识别技术日益成为核心组成部分，尤其是在实时翻译、字幕制作和无障碍沟通等方面。OpenAI 的 Whisper 模型以及其优化版本 Faster-Whisper 创新性地提供了高效的语音转文本服务。现在，得益于 Purfvie...
语音识别指南
qingqing(C/C++)
10-12 2430
这一篇就够了 python语音识别指南终极版 •语音识别的工作原理； •PyPI 支持哪些软件包;  •如何安装和使用 SpeechRecognition 软件包——一个功能全面且易于使用的 Python 语音识别库。 ▌语言识别工作原理概述 语音识别源于 20 世纪 50 年代早期在贝尔实验室所做的研究。早期语音识别系统仅能识别单个讲话者以及只有约十几个单词的词...
【小沐学Python】Python实现语音识别（SpeechRecognition）
爱看书的小沐
12-09 2万+
SpeechRecognition用于执行语音识别的库，支持多个引擎和 API，在线和离线。以上几个中只有 recognition_sphinx（）可与CMU Sphinx 引擎脱机工作， 其他六个都需要连接互联网。另外，SpeechRecognition 附带 Google Web Speech API 的默认 API 密钥，可直接使用它。其他的 API 都需要使用 API 密钥或用户名/密码组合进行身份验证。╮(￣▽￣)╭如果您感觉方法或代码不咋地//(ㄒoㄒ)//，就在评论处留言，作者继续改进；
用Python程序实现语音识别就是这么简单！​
xiaoganbuaiuk的博客
02-07 3029
Python程序提供了其他技术无法比拟的交互性和可访问性，重要的是，在 Python 程序中实现语音识别非常简单。我们一起来了解python程序的：语音识别的工作原理、PyPI 支持哪些软件包以及如何安装和使用 SpeechRecognition 软件包（一个功能全面且易于使用的 Python 语音识别库），让你体验到用Python程序实现语音识别就是这么简单！（文末送读者福利）python语音识别源于 20 世纪 50 年代早期在贝尔实验室所做的研究。
[python]基于faster whisper实时语音识别语音转文本
FL1768317420的博客
12-31 1575
同时，Faster-Whisper还改进了原始的Whisper模型结构，包括减少模型的层数、减少参数量、简化模型结构等，从而减少了计算量和内存消耗，提高了推理速度。此外，Faster-Whisper还改进了推理算法、优化计算过程、减少冗余计算等，以提高模型的运行效率。Faster-Whisper项目包括一个web网页版本和一个命令行版本，同时项目内部已经整合了VAD算法。VAD是一种音频活动检测的算法，可以准确的把音频中的每一句话分离开来，让whisper更精准的定位语音开始和结束的位置。
语音识别实战（python代码）(一）
热门推荐
逆境清醒的博客
04-04 3万+
本文主要从概念上图文论述了语音识别的起源与发展、语音识别的基本原理、语音识别过程、语音识别的近期发展。代码上分析了Python 语音识别所用到的技术，从 (1)、文本转换为语音(2)、文本转存为语音文件wav两个方面实例操作了语音识别的技术实现方式，并提供了完整源代码供参考。
基于faster whisper实时语音识别语音转文本python源码
12-31
模块： fast_whisper pyaudio 博客地址：blog.csdn.net/FL1623863129/article/details/135319194 视频演示：bilibili.com/video/BV1fQ4y1j7wb
whisper-一个使用python快速实现合成语音的库，离线人工智能合成，无需联网
01-02
whisper是一个强大的Python库，专为离线语音合成和识别而设计。这个库使得开发者能够在本地环境中，无需互联网连接，就能够创建和处理语音内容。在本文中，我们将深入探讨whisper库的功能、安装过程以及如何使用它来...
【小沐学AI】Python实现语音识别（whisperX）
爱看书的小沐
06-30 5443
Whisper 是一种通用语音识别模型。它是在各种音频的大型数据集上训练的，也是一个多任务模型，可以执行多语言语音识别、语音翻译和语言识别。Transformer 序列到序列模型针对各种语音处理任务进行训练，包括多语言语音识别、语音翻译、口语识别和语音活动检测。这些任务共同表示为解码器要预测的一系列标记，从而允许单个模型取代传统语音处理管道的许多阶段。多任务训练格式使用一组特殊标记作为任务说明符或分类目标。╮(￣▽￣)╭如果您感觉方法或代码不咋地//(ㄒoㄒ)//，就在评论处留言，作者继续改进；o_O。
智能语音问答机器人本地部署win10--2024最新版（faster-whisper + Qwen1.5 + ChatTTS）
imok1234567的博客
08-02 1997
本项目旨在实现一个智能语音问答机器人的本地部署，采用Windows 10操作系统，并集成了最新的语音识别和生成技术。通过结合faster-whisper、Qwen1.5和ChatTTS三大模块，机器人能够高效地进行语音识别、自然语言处理和语音合成，为用户提供流畅的语音问答体验。
faster-whisper-webui
Luke Ewin的博客
06-11 1万+
whisper开源之后，很多相关的衍生产品也开源了，比如faster-whisper，它是一个比whisper转录更快的技术实现，转录速度是whisper的4倍，并且占用的显存更少，占用显存是whisper的1/2。而我们这次要讲的是faster-whisper-webui是内置了VAD的支持，可以很精准的定位到每一句话的开始和结束，对于转录长音视频很有意义，可以防止转录长音视频出现幻听的情况。
Fastwhisper + Pyannote 实现 ASR + 说话者识别
qq_44193969的博客
03-03 1万+
最近在研究ASR相关的业务，也是调研了不少模型，踩了不少坑，ASR这块，目前中文普通话效果最好的应该是阿里的modelscope上的中文模型了，英文的话，还是非whisper莫属了，而且whisper很变态，粤语效果也还不错，因此，如果实际业务中需要涉及到不同的语言，还是更推荐whisper多一点faster-whisper是使用CTranslate2对OpenAI的Whisper模型的重新实现，CTranslate2是一个用于Transformer模型的快速推理引擎。
python 实现Faster R-CNN
05-21
Faster R-CNN是一个经典的目标检测算法，其主要使用了两个部分：Region Proposal Network（RPN）和Fast R-CNN。下面是使用Python实现Faster R-CNN的大致步骤： 1. 数据准备：收集训练数据和测试数据，并进行标注。 2. 特征提取：使用预训练的卷积神经网络（CNN）来提取图像特征，例如使用VGG-16或ResNet等CNN。 3. Region Proposal Network（RPN）：使用CNN来生成候选区域，并对每个候选区域进行分类和回归。 4. RoI Pooling：对于每个候选区域，使用RoI Pooling将其转换为固定大小的特征图。 5. Fast R-CNN：使用特征图进行目标分类和回归。 6. 损失函数：使用多任务损失函数来训练模型，包括分类损失和回归损失。 7. 模型评估：使用测试数据集来评估模型的性能。 以上是Faster R-CNN的大致步骤，实现Faster R-CNN需要深入理解目标检测算法和CNN的原理，并且需要掌握Python和深度学习框架，例如TensorFlow和PyTorch等。
评论 23
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值