whisper不同模型规模的处理结果比较

最新推荐文章于 2025-04-08 17:06:53 发布
最新推荐文章于 2025-04-08 17:06:53 发布
阅读量228 收藏 4
点赞数 5
分类专栏： AI 文章标签： whisper 语音识别
本博文随意转发，但请留意出处，以便源作者收到错漏反馈
本文链接：https://blog.csdn.net/weixin_42915934/article/details/145668949
版权

一、工具

VirtualBox V7.1.6
Ubuntu V24.04.1 desktop版
测试视频是随便从B站下载的 致富经：外来物种袭扰，村民变废为宝
B站视频下载网页工具：https://greenvideo.cc/bilibili
声明：以上内容仅作学习用途使用

二、处理过程：

先使用ffmpeg工具从视频中提取30秒音频，然后再用whisper处理这个30秒的音频文件，就能得到一个.txt的文本结果。

三、结果

以下是不同模型规模的处理结果，tiny、base、small、middum、large，随着模型变大，语音识别的准确度显著提高，但相应地，处理时间也被拉长了好多。

tiny:

base:

small:

medium:

large:

开源模型应用落地-语音转文本-whisper模型-AIGC应用探索（四）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
03-24 2万+
介绍OpenAI 最新开源的Whisper-large-v3-turbo模型，并集成vLLM进行推理加速。
Whisper 模型压缩技术：轻量级语音识别方案
最新发布
AI 领航者的博客
04-15 1166
随着智能音箱、车载语音助手、实时字幕等应用的普及，语音识别技术对低延迟、低功耗的边缘部署需求日益增长。OpenAI开发的Whisper模型凭借多语言支持、长音频处理能力和端到端架构，成为当前语音识别领域的标杆模型。然而，原始Whisper模型（如large-v2版本）参数量超过15亿，计算复杂度高，难以直接部署在手机、嵌入式设备等资源受限环境中。本文聚焦Whisper模型的压缩优化技术，系统讲解模型量化、结构剪枝、知识蒸馏等核心方法，结合数学建模和工程实践，提供从理论分析到代码实现的完整解决方案。
whisper、whisper.cpp、faster-whisper的比较_faster-whisper比whisper优点
月流霜的专栏
08-25 1299
让我们比较一下当前的whisper、whisper.cpp和faster-whisper。OpenAI / Whisper 自发布以来，似乎在各个方面都发生了变化，例如在 2022 年 12 月增加了 large-v2 模型和各种版本升级。whisper.cpp是用 CPU 的 C/C++ 编写的。它似乎是Core ML支持，所以它对于Mac用户有强烈的感觉。
【AI工具篇】使用OpenAI开源的Whisper模型，制作本地离线的视频或音频转文本功能...
dotNET跨平台
04-03 1万+
有时候在看一些学习视频时候，难免感觉进度太慢，或者学习视频太枯燥，想自己根据视频关键信息做总结或快速浏览，想着如果有一个工具，我把视频丢进去，它自己给我生成里面语音的所有文本的信息，然后我自己根据文本来提炼关键的有用的信息，还可以节约看视频的时间，是不是会很Nice? 于是，前一天经过一位小伙伴的推荐，使用一款OpenAI开源的模型，也就是今天的主角——Whisper，来实现我们的上面这个偷懒的功...
Whisper.net 常见问题解决方案
gitblog_09152的博客
09-13 604
Whisper.net 常见问题解决方案 whisper.net Whisper.net. Speech to text made simple using Whisper Models 项目地址: https://gitcode...
Whisper 模型对应的硬件资源
panshengnan的专栏
02-10 1558
Whisper 模型有多个版本（, , , , ），每个版本的硬件资源需求差异较大。具体依赖的硬件资源（如 CPU、GPU、内存等）主要取决于所使用的模型的大小和输入音频的长度。以下是不同模型所需硬件资源的大致情况：Whisper 模型有五个不同的版本，它们的大小和性能逐渐增大，分别是：小模型 (, , )：较小的模型（, , ）可以在大部分现代 CPU 上运行，包括普通的桌面或笔记本 CPU，尽管处理速度会比 GPU 慢。大模型 (, )：这些模型由于参数量较大，对 CPU 的计算能力要求更高。推荐使用
介绍 Whisper 模型
weixin_41046245的博客
06-14 2198
Whisper是一个通用的语音识别模型。它在大规模多样化的音频数据集上进行训练，并且能够执行多任务处理，包括多语言语音识别、语音翻译和语言识别。
.Net 使用OpenAI开源语音识别模型Whisper
guigenyi的专栏
05-30 5952
Open AI在2022年9月21日开源了号称其英文语音辨识能力已达到人类水准的Whisper神经网络，且它亦支持其它98种语言的自动语音辨识。Whisper系统所提供的自动语音辨识（Automatic Speech Recognition，ASR）模型是被训练来运行语音辨识与翻译任务的，它们能将各种语言的语音变成文本，也能将这些文本翻译成英文。whisper的核心功能语音识别，对于大部分人来说，可以帮助我们更快捷的将会议、讲座、课堂录音整理成文字稿；
【多模态mllm之audio encoder】openai whisper模型解析
kakaZhui的博客
04-08 293
解码器的一个关键特征是使用绑定的输入-输出标记表示，其中相同的权重矩阵既用于嵌入输入标记，也用于将最终的隐藏状态投影到词汇空间以进行标记预测。将原始音频转换为对数梅尔频谱图是一个关键的预处理步骤，它将信号转换为更符合人类听觉感知的表示形式，并且更有效地被神经网络处理，突出了与语音识别最相关的频率分量。这些参数表明，模型具有深层结构，能够捕获复杂的语音模式。此外，模型的训练数据超过 680,000 小时，涵盖多语言和多任务监督数据，包括剪辑、TED 演讲、播客和采访等，这使其接近人类水平的鲁棒性和准确性。
Bert-vits2转写和标注独立整合Webui,整合阿里FunAsr,必剪Asr以及Whisper大模型.zip
03-14
整合阿里FunAsr,必剪Asr以及Whisper大模型.zip"表明这是一个基于Bert-vits2模型的语音识别和标注工具，它已经集成了多种不同的语音识别服务，包括阿里云的FunASR、必剪ASR以及Whisper大模型。这个压缩包可能包含了一...
本地搭建 Whisper 语音识别模型全攻略
东境物语
08-29 5699
Whisper 语音识别模型是由 OpenAI 开发的一款强大工具。它具有开源的特性，这意味着开发者可以自由获取和使用其相关代码进行研究和应用开发。Whisper 最为显著的特点之一是其出色的多语言处理能力，能够识别和处理多种语言的语音信息。它通过从网络上收集大量的多语言和多任务监督数据进行训练，从而能够应对各种口音、背景噪音和技术术语，在不同语言环境下都能展现出较高的识别准确性和鲁棒性。无论是常见的主流语言，还是一些较为小众的语言，Whisper 都能够进行有效的语音识别。
大模型之二十七-语音识别Whisper实例浅析
shichaog的专栏
08-28 9683
output_dir:模型权重存储的位置generation_max_length:在评估时，自回归生成token的最大值save_steps:在训练时，中间的checkpoint将在save_step时被保存eval_steps:在训练时，每eval_steps到达时会评估模型性能report_to：训练的log保持的位置fp16=True,
深入解析：选择最适合你的Whisper语音识别模型
携梦问道的博客
12-14 4701
在语音识别领域，Whisper系列模型因其卓越的性能和多语言支持而备受青睐。今天，我们将详细解析三种不同的Whisper模型以及，帮助你根据具体需求选择最合适的版本。
《AI大模型开发笔记》Faster-Whisper 免费开源的高性能语音识别模型
qq837993702的博客
11-23 2678
Whisper模型根据参数量来区分，有多个不同的版本，分别是tiny，base，small medium，large， large-v2， large-v3。为了提高推理的速度，faster-whisper通过使用 CTranslate2 工具进行优化，大幅度改善了推理的速度。从下图可以看出，faster-whisper 推理时间只有原模型的1/5， GPU显存的使用也不到原来的二分之一。目前性能最好的是2023年11月7日发布的参数量为1550M的large-v3。下面是，我在代码执行过程中碰到的问题。
​Distil-Whisper：比Whisper快6倍，体积小50%的语音识别模型
shmily77love的博客
11-14 1659
此外，Distil-Whisper与Whisper模型共享相同的编码器权重，这意味着它可以作为Whisper的辅助模型，用于推测性解码，从而实现了2倍的推理速度提升，同时确保预测结果与原始模型相同。为了解决这个问题，研究者们采用了伪标签方法来构建一个大规模的开源数据集（在 9 个不同的开源数据集上接受了 22,000 个小时的训练，涵盖 10 个域、超过 18,000 个说话者），并使用这个数据集来进行知识蒸馏，从而创建了Distil-Whisper模型。抗噪声 - 在嘈杂环境下仍能保持较高的识别准确性。
【Python ASR 】模型对比 whisper 和 funasr
qq_39211165的博客
10-30 4057
python asr 模型对比
【.NET】使用Whisper.net实现录音转文本
dotNET跨平台
08-12 874
前言：上一篇文章写了关于如何录音，这篇咱们做个升级，让录音内容转为文本。废话不多说，直接上手，以下正文：1、新建一个控制台项目，引用CommandLineParser和Whisper.net2、新建Options实体类，用于提供使用模型的一些参数public class Options { /// <summary> /// 指令类型 ...
OpenAI开源语音识别模型Whisper在Windows系统的安装详细过程
热门推荐
Luke Ewin的博客
05-09 1万+
Windows中部署开源的whisper语音识别软件，可以支持本地部署，可以利用whisper生成字幕文件。whisper对电脑硬件要求不高，既可以使用GPU也可以使用CPU来运算。
怎么训练出whisper模型
03-24
### 训练 Whisper 模型的方法 训练 Whisper 模型涉及多个步骤，包括环境配置、数据准备、模型选择以及实际的训练过程。以下是关于如何训练 Whisper 模型的具体说明： #### 环境配置 为了成功训练 Whisper 模型，需要安装必要的依赖库并设置开发环境。可以使用 `transformers` 库来加载预定义的 Whisper 模型架构[^4]。 ```bash pip install transformers datasets torch librosa evaluate accelerate ``` #### 数据准备 高质量的数据集对于训练效果至关重要。通常情况下，语音识别任务中的数据由音频文件及其对应的转录文本组成。建议使用公开可用的大规模语音数据集（如 Common Voice 或 LibriSpeech），或者根据具体需求收集定制化数据。 - **音频处理**：将所有音频转换成统一采样率（例如 16kHz）。这可以通过 Python 的 `librosa` 工具完成。 ```python import librosa def load_audio(file_path, target_sr=16000): audio, sr = librosa.load(file_path, sr=target_sr) return audio ``` - **标注清洗**：确保每条音频都有清晰无误的文字描述，并去除可能存在的噪声或不必要字符[^2]。 #### 模型初始化 Whisper 支持多种大小不同的变体（tiny、base、small、medium 和 large-v1/v2）。可以根据计算资源限制挑选适合自己的版本[^3]。 ```python from transformers import WhisperForConditionalGeneration, WhisperProcessor model_name = "openai/whisper-base" processor = WhisperProcessor.from_pretrained(model_name) model = WhisperForConditionalGeneration.from_pretrained(model_name).train() ``` #### 细粒度微调 如果希望针对特定领域优化性能，则需执行迁移学习操作——即在已有权重基础上进一步调整参数以适应新场景下的输入特征分布差异情况。 ```python from datasets import DatasetDict, load_dataset from transformers import Seq2SeqTrainer, Seq2SeqTrainingArguments # 加载自定义数据集 dataset = load_dataset("your_custom_dataset") # 定义训练参数 training_args = Seq2SeqTrainingArguments( output_dir="./results", per_device_train_batch_size=8, gradient_accumulation_steps=2, learning_rate=5e-5, warmup_steps=500, max_steps=4000, fp16=True, ) trainer = Seq2SeqTrainer( model=model, args=training_args, train_dataset=dataset["train"], eval_dataset=dataset["test"], tokenizer=processor.feature_extractor, data_collator=DataCollatorWithPadding(processor), ) trainer.train() ``` 以上代码片段展示了通过 Hugging Face 的 Trainer API 实现自动化流程管理的方式。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值