学习实践-Whisper语音识别模型实战（部署+运行）

已于 2024-04-08 15:51:35 修改
阅读量7.4k 收藏 22
点赞数 4
分类专栏： 算法实战 文章标签： 学习 语音识别 python
于 2023-04-12 09:03:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LZL2020LZL/article/details/130098564
版权
本文介绍了OpenAI的Whisper语音识别模型，该模型在大规模多语言数据集上训练，具备高识别准确性和多语言转译能力。通过Windows系统的部署实例展示了模型在识别效果上的优秀表现，但同时也指出在追求速度时可能出现类似音节的误识别问题。
摘要由CSDN通过智能技术生成

对视觉类论文详解（免费）感兴趣的同学，可以关注微信公众号 李卓璐随手记，将会不定期发布，注意查收哦~

1、Whisper内容简单介绍

OpenAI的语音识别模型Whisper，Whisper 是一个自动语音识别（ASR，Automatic Speech Recognition）系统，OpenAI 通过从网络上收集了 68 万小时的多语言（98 种语言）和多任务（multitask）监督数据对 Whisper 进行了训练。OpenAI 认为使用这样一个庞大而多样的数据集，可以提高对口音、背景噪音和技术术语的识别能力。除了可以用于语音识别，Whisper 还能实现多种语言的转录，以及将这些语言翻译成英语。Open AI 强调 Whisper 的语音识别能力已达到人类水准。

在这里插入图片描述
左：输入的音频被分割成 30 秒的小段、转换为 log-Mel 频谱图，然后传递到编码器。

右：解码器经过训练以预测相应的文字说明，并与特殊的标记进行混合，这些标记指导单一模型执行诸如语言识别、短语级别的时间戳、多语言语音转录和语音翻

了解本专栏 订阅专栏 解锁全文 超级会员免费看
李卓璐
关注
专栏目录
订阅专栏
实战whisper语音识别第一天，部署服务器，可远程访问，实时语音转文字（全部代码和详细部署步骤）
qq_34717531的博客
03-18 4307
Whisper是OpenAI于2022年发布的一个开源深度学习模型，专门用于语音识别任务。它能够将音频转换成文字，支持多种语言的识别，包括但不限于英语、中文、西班牙语等。Whisper模型的特点是它在多种不同的音频条件下（如不同的背景噪声水平、说话者的口音、语速等）都能实现高准确率的语音识别，这得益于它在训练过程中使用的大量多样化的音频数据。
语音识别（实时语音转录）——funasr的详细部署和使用教程(包括实时语音转录)
qq_34717531的博客
08-13 5284
阿里达摩院开源大型端到端语音识别工具包FunASR：FunASR提供了在大规模工业语料库上训练的模型，并能够将其部署到应用程序中。工具包的核心模型是Paraformer，这是一个非自回归的端到端语音识别模型，经过手动注释的普通话语音识别数据集进行了训练，该数据集包含60,000小时的语音数据。为了提高Paraformer的性能，本文在标准的Paraformer基础上增加了时间戳预测和热词定制能力。
语音大模型之Whisper
幽雨雨幽
03-05 904
Whisper模型方法证明了只需要用大量的弱标签数据，不需要很复杂的模型和调优方法，就可以到达非常不错的识别性能，尤其是在鲁棒性和泛化性上。这也是大家比较公认的一个结论，即数据才是模型性能提升的最大影响因素。
大模型之二十七-语音识别Whisper实例浅析
shichaog的专栏
08-28 3819
output_dir:模型权重存储的位置generation_max_length:在评估时，自回归生成token的最大值save_steps:在训练时，中间的checkpoint将在save_step时被保存eval_steps:在训练时，每eval_steps到达时会评估模型性能report_to：训练的log保持的位置fp16=True,
深度学习-语音识别实战(Python)视频课程
05-16
基于深度学习的语音识别实战课程主要包括三部分内容： 1.经典论文算法讲解； 2.算法源码解读； 3.项目实战；
介绍 Whisper 模型
weixin_41046245的博客
06-14 1572
Whisper是一个通用的语音识别模型。它在大规模多样化的音频数据集上进行训练，并且能够执行多任务处理，包括多语言语音识别、语音翻译和语言识别。
Matlab语音识别（whisper）
06-12
本人刚做好的毕业设计，多多指点…… 包括端点检测、 MFCC LPCC参数的运用，HMM
【机器学习】Whisper：开源语音转文本（speech-to-text）大模型实战
人工智能领域博客
06-28 1万+
本文是上一篇chatTTS文章的夫妻篇，既然教了大家如何将文本转语音，就一定要教大家如何将语音转成文本，这样技术体系才完整。首先简要概述了Whisper的模型原理，然后基于transformers的pipeline库2行代码实现了Whisper模型推理，希望可以帮助到大家。码字不易，如果喜欢期待您的关注+3连+投票。
OpenAI-whisper语音识别模型
不积跬步，无以至千里！
05-19 4934
OpenAI语音识别模型
Whisper（语音识别，语音转文本）本地部署
weixin_45972052的博客
04-10 2320
如果后面运行时，出现 系统找不到指定文件 的bug时，尝试在上一步添加环境变量中，也添加一个系统变量，并重启一下电脑。在虚拟环境中进行安装。
实战whisper第三天：fast whisper 语音识别服务器部署，可远程访问，可商业化部署（全部代码和详细部署步骤）
qq_34717531的博客
07-02 756
Fast Whisper 是对 OpenAI 的 Whisper 模型的一个优化版本，它旨在提高音频转录和语音识别任务的速度和效率。Whisper 是一种强大的多语言和多任务语音模型，可以用于语音识别、语音翻译和语音分类等任务。
实战whisper第二天：直播语音转字幕（全部代码和详细部署步骤）
qq_34717531的博客
03-21 5132
基于Whisper的实时直播语音转录或翻译是一项使用OpenAI的Whisper模型实现的技术，它能够实时将直播中的语音内容转录成文本，甚至翻译成另一种语言。这一过程大致分为三个步骤：捕获直播音频流、语音识别（转录）以及翻译（如果需要）。下面详细解释其原理和意义。
【内网穿透】如何本地搭建Whisper语音识别模型并配置公网地址
热门推荐
weixin_44976692的博客
07-18 1万+
OpenAI开源的 Whisper 语音转文本模型效果都说还不错，今天就给大家推荐 GitHub 上一个开源项目 Whisper Web，允许你可直接在浏览器中运行使用 Whisper。基于 ML 进行语音识别，并可通过 WebGPU 进行运行加速，无需后端服务器，直接开箱即用。另外，识别到的文本支持导出 TXT 和 JSON 两种文件格式。
本地搭建 Whisper 语音识别模型全攻略
最新发布
东境物语
08-29 2171
Whisper 语音识别模型是由 OpenAI 开发的一款强大工具。它具有开源的特性，这意味着开发者可以自由获取和使用其相关代码进行研究和应用开发。Whisper 最为显著的特点之一是其出色的多语言处理能力，能够识别和处理多种语言的语音信息。它通过从网络上收集大量的多语言和多任务监督数据进行训练，从而能够应对各种口音、背景噪音和技术术语，在不同语言环境下都能展现出较高的识别准确性和鲁棒性。无论是常见的主流语言，还是一些较为小众的语言，Whisper 都能够进行有效的语音识别。
Python使用whisper实现语音识别（ASR）
wozuishuai_的博客
03-19 5951
在一个语音中，我们都会有一些停顿。但是，在识别结果中，这些停顿并没有被完全表示出来。可以看到，它的识别结果还行（因为我的音频是AI合成的，识别会有一定误差），但是输出的是繁体中文，我们需要把他变成简体中文。Whisper是OpenAI的一个强大的语音识别库，支持离线的语音识别。其中，zh.wav可以换成你自己的音频。另外，需要通过choco安装ffmpeg库。完成这些步骤之后，我们就可以使用啦！
语音转文字神器！Whisper 可实现实时转录，打工人必备！
XLionXxxx的博客
08-21 594
平台会自动为容器选配合适的算力资源和镜像版本，这里使用的是英伟达 RTX 4090 的算力资源和 PyTorch 的镜像，别忘了使用文章开头的邀请链接，get 免费时长！选择好后，点击「下一步：审核」即可。系统分配资源完成后，待状态显示为「运行中」后，将鼠标悬停在 API 地址处，点击链接进入模型。登录到 OpenBayes 平台后，打开「公共教程」，找到「Whisper Web 在线语音识别工具」的教程。平台在克隆过程中会自动为容器绑定所需要的数据，不需要我们再手动配置，直接点击「下一步：选择算力」。
Chinese-whisper:一种简洁的分类方法
lumo的二次学习笔记
01-17 7790
写在前面近来利用神经网络提取人脸特征的方法越来越多，人脸相似性匹配准确度也越来越高。但仍然没有找到一种适合于未知类别数量，自动划分的方法，而k-means等聚类方法均是要预先设定分类数量后再开始进行聚类操作。 在博客的介绍下，了解了一种比较简单的无监督分类方法，chinese-whisper。 现将具体实验总结如下CW-算法【适用场景】 未知具体分类数量，自动查找类别个数并进行快速聚类。 【
Whisper OpenAI开源语音识别模型
在网搬砖的日常
06-04 7522
Whisper 是一个自动语音识别（ASR，Automatic Speech Recognition）系统，OpenAI 通过从网络上收集了 68 万小时的多语言（98 种语言）和多任务（multitask）监督数据对 Whisper 进行了训练。OpenAI 认为使用这样一个庞大而多样的数据集，可以提高对口音、背景噪音和技术术语的识别能力。除了可以用于语音识别，Whisper 还能实现多种语言的转录，以及将这些语言翻译成英语。语音转文字在许多不同领域都有着广泛的应用。
whisper下载语音识别文字
01-06
Whisper是一款可以实现语音识别转文字的应用软件。它可以通过下载安装在手机或电脑上，实现将语音转化为文字的功能。 使用Whisper进行语音识别转文字非常简便。首先，用户需要下载并安装Whisper应用，可以在各大应用商店或官方网站上获取。安装完成后，用户可以打开应用，并按照界面上的提示进行设置和授权。接下来，用户可以开始使用Whisper进行语音转文字的操作。 在使用Whisper进行语音识别转文字时，用户可以选择两种方式。一种是通过录制语音进行识别，用户只需按下录制按钮，开始说话，Whisper会自动将语音转化为文字。另一种方式是通过实时语音输入进行识别，用户可以直接讲话到麦克风，Whisper会实时将语音转为文字显示在屏幕上。 Whisper的语音识别转文字功能非常准确和快速。它采用了先进的语音识别技术，能够准确地识别各种语音，并将其转化为文字。同时，Whisper还支持多国语言的识别，可以满足不同用户的需求。 通过Whisper进行语音识别转文字，用户可以享受到很多便利。无论是需要记录会议内容、学习笔记，还是进行语音交流的转化，Whisper都能够帮助用户快速准确地将语音转化为文字，并保存在手机或电脑上。这样，用户可以方便地进行查看、编辑和分享。 总之，Whisper是一个功能强大、操作简便的语音识别转文字应用软件，通过下载安装，用户可以随时随地将语音转化为文字，提高工作和学习的效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值