开箱即用的whisper-service服务

已于 2025-03-14 11:39:25 修改
阅读量1.2k 收藏 15
点赞数 7
文章标签： whisper
于 2025-03-14 11:25:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/crazyjinks/article/details/146252688
版权

安装须知

Whisper官方网址

https://github.com/openai/whisper

Whisper 镜像站

https://docker.aityp.com/r/docker.io/onerahmet

本次提供的环境镜像为：docker.io/onerahmet/openai-whisper-asr-webservice:v1.6.0-gpu

运行环境要求

服务器架构

服务器架构要求x86_64，或x64，或amd64。

在这里插入图片描述

CUDA版本

使用nvidia-smi指令检查CUDA version是不是≥11.6

nvidia-smi

检查显卡驱动是否满足要求
在这里插入图片描述

此处示例显示12.4≥11.6，满足需求

目录文件说明

运行镜像

1.通过网络下载

docker pull onerahmet/openai-whisper-asr-webservice:v1.6.0-gpu

2.离线部署

whisper_v160.tar

模型权重文件

whisper_model 目录下的所有.pt文件为不同size的whisper模型权重

模型性能benchmark

SizeParametersEnglish-only modelMultilingual modelRequired VRAMRelative speed
tiny39 Mtiny.entiny~1 GB~10x
base74 Mbase.enbase~1 GB~7x
small244 Msmall.ensmall~2 GB~4x
medium769 Mmedium.enmedium~5 GB~2x
large1550 MN/Alarge~10 GB1x
turbo809 MN/Aturbo~6 GB~8x

服务安装

1. 导入基础镜像

通过docker pull的不需要这一步

docker load -i whisper_v160.tar

在这里插入图片描述

2. 拷贝模型权重

使用任意指令拷贝到你管理下的目录

下述启动指令的/home/baijs/myway/whisper_model路径需要替换为你的服务器路径

3. Whisper 容器启动命令集

参考启动指令

启动 large 模型服务

映射宿主机9004端口到容器内部9000端口，使用数据卷映射服务器/home/baijs/myway/whisper_model的路径到内部:/root/.cache/whisper，

模型使用large，容器名为whisper_l

docker run -d -p 9004:9000 -v /home/baijs/myway/whisper_model:/root/.cache/whisper -e ASR_MODEL=large --name=whisper_l onerahmet/openai-whisper-asr-webservice:v1.6.0-gpu
启动 turbo 模型服务

映射宿主机9001端口到容器内部9000端口，使用相同的数据卷映射，模型使用turbo，容器名为whisper_turbo

docker run -d -p 9001:9000 -v /home/baijs/myway/whisper_model:/root/.cache/whisper -e ASR_MODEL=turbo --name=whisper_turbo onerahmet/openai-whisper-asr-webservice:v1.6.0-gpu
启动 medium 模型服务

映射宿主机9000端口到容器内部9000端口，使用相同的数据卷映射，模型使用medium，容器名为whisper_m

docker run -d -p 9000:9000 -v /home/baijs/myway/whisper_model:/root/.cache/whisper -e ASR_MODEL=medium --name=whisper_m onerahmet/openai-whisper-asr-webservice:v1.6.0-gpu
启动 small 模型服务

映射宿主机8999端口到容器内部9000端口，使用相同的数据卷映射，模型使用small，容器名为whisper_s

docker run -d -p 8999:9000 -v /home/baijs/myway/whisper_model:/root/.cache/whisper -e ASR_MODEL=small --name=whisper_s onerahmet/openai-whisper-asr-webservice:v1.6.0-gpu
启动 base 模型服务

映射宿主机8998端口到容器内部9000端口，使用相同的数据卷映射，模型使用base，容器名为whisper_base

docker run -d -p 8998:9000 -v /home/baijs/myway/whisper_model:/root/.cache/whisper -e ASR_MODEL=base --name=whisper_base onerahmet/openai-whisper-asr-webservice:v1.6.0-gpu
启动 tiny 模型服务

映射宿主机8997端口到容器内部9000端口，使用相同的数据卷映射，模型使用tiny，容器名为whisper_tiny

docker run -d -p 8997:9000 -v /home/baijs/myway/whisper_model:/root/.cache/whisper -e ASR_MODEL=tiny --name=whisper_tiny onerahmet/openai-whisper-asr-webservice:v1.6.0-gpu

4.跟踪容器日志

使用docker logs -f <容器名>或<容器ID>跟踪服务状态

例如此处我启动large模型，名称为whipser，容器id为688*，我跟踪容器日志：

在这里插入图片描述

可以看到日志显示超出显存，可以通过该方法排查问题
在这里插入图片描述

5.停止服务

docker stop <容器名>

示例：

docker stop whisper_base

在这里插入图片描述

6.服务重新启动

docker start <容器名>

如果服务是通过stop停止的，可以通过 start来快速恢复服务

示例

docker start whisper_tiny

在这里插入图片描述

可以看到服务快速就恢复了

服务使用

以medium模型为例，服务成功启动在宿主机9000端口后，访问<宿主机IP>:9000

示例地址：

http://192.168.10.60:9000/docs

示例效果：

在这里插入图片描述

这个服务提供了 2 个接口：

  • /asr ，自动语音识别，上传语音或视频文件，输出文本。
  • /detect-language ，检测语言，通过检测上传文件中前30s的音频，判断使用的语言。

1.自动语音识别

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

上传的test.mp3是一首名为《清空》的中文歌曲，可以看到正确识别了结果。

在这里插入图片描述

为什么李宗盛乱入了 = =

2.语言检测

使用方法同上

在这里插入图片描述

服务参数说明

1.自动语音识别服务 /asr

encode

  • 类型: 布尔值 (查询参数)
  • 默认值: true
  • 说明: 决定是否在处理前通过ffmpeg对音频进行编码处理。设置为true时，服务会先用ffmpeg处理上传的音频文件，使其符合Whisper模型的输入要求。若您的音频已经是正确格式，可设为false跳过此步骤。

task

  • 类型: 字符串 (查询参数)

  • 默认值: transcribe

  • 可选值

    • transcribe: 将音频转录为原始语言的文本
    • translate: 将音频转录并翻译为英语

  • 说明: 指定处理任务的类型，保持原语言或翻译为英语

language

  • 类型: 字符串 (查询参数)
  • 可选值: 多种语言代码 (af, am, ar, 等…)

language: 主动声明音频是什么语言，默认不指定，模型可以自动识别。以下是Whisper ASR支持的语言代码及其对应的语言名称：

代码语言名称代码语言名称代码语言名称
af南非荷兰语am阿姆哈拉语ar阿拉伯语
as阿萨姆语az阿塞拜疆语ba巴什基尔语
be白俄罗斯语bg保加利亚语bn孟加拉语
bo藏语br布列塔尼语bs波斯尼亚语
ca加泰罗尼亚语cs捷克语cy威尔士语
da丹麦语de德语el希腊语
en英语es西班牙语et爱沙尼亚语
eu巴斯克语fa波斯语fi芬兰语
fo法罗语fr法语gl加利西亚语
gu古吉拉特语ha豪萨语haw夏威夷语
he希伯来语hi印地语hr克罗地亚语
ht海地克里奥尔语hu匈牙利语hy亚美尼亚语
id印度尼西亚语is冰岛语it意大利语
ja日语jw爪哇语ka格鲁吉亚语
kk哈萨克语km高棉语kn卡纳达语
ko韩语la拉丁语lb卢森堡语
ln林加拉语lo老挝语lt立陶宛语
lv拉脱维亚语mg马达加斯加语mi毛利语
mk马其顿语ml马拉雅拉姆语mn蒙古语
mr马拉地语ms马来语mt马耳他语
my缅甸语ne尼泊尔语nl荷兰语
nn新挪威语no挪威语oc奥克语
pa旁遮普语pl波兰语ps普什图语
pt葡萄牙语ro罗马尼亚语ru俄语
sa梵语sd信德语si僧伽罗语
sk斯洛伐克语sl斯洛文尼亚语sn绍纳语
so索马里语sq阿尔巴尼亚语sr塞尔维亚语
su巽他语sv瑞典语sw斯瓦希里语
ta泰米尔语te泰卢固语tg塔吉克语
th泰语tk土库曼语tl塔加洛语
tr土耳其语tt鞑靼语uk乌克兰语
ur乌尔都语uz乌兹别克语vi越南语
yi意第绪语yo约鲁巴语yue粤语
zh中文
  • 说明: 指定音频中使用的语言，有助于提高转录准确性。若不提供，系统会自动检测语言。

initial_prompt

  • 类型: 字符串 (查询参数)
  • 说明: 为转录提供上下文提示。这可以帮助模型更好地理解特定领域术语或预期的转录内容，特别是对于包含专业术语的音频很有帮助。

word_timestamps

  • 类型: 布尔值 (查询参数)
  • 默认值: false
  • 说明: 启用后将生成单词级别的时间戳，标记每个单词在音频中的开始和结束时间。这对于创建精确的字幕或音频索引非常有用，但可能会增加处理时间。

output

  • 类型: 字符串 (查询参数)

  • 默认值: txt

  • 可选值

    • txt: 纯文本格式
    • vtt: Web Video Text Tracks格式 (用于HTML5视频字幕)
    • srt: SubRip字幕格式 (常用字幕格式)
    • tsv: 制表符分隔值 (包含时间戳和段落的表格格式)
    • json: JSON格式 (包含完整的元数据，如置信度分数、时间戳等)

  • 说明: 指定转录结果的输出格式。不同格式适用于不同用途，如简单文本、视频字幕或需要详细元数据的应用。

这些参数可以根据您的具体需求组合使用，以获得最佳的转录结果和格式。

2.语言检测/detect-language

  • encode (布尔值, 默认: true): 是否在处理前通过ffmpeg对音频进行编码
  • audio_file (必需): 要检测语言的音频文件

百度云链接

我把离线的运行环境.tar和模型都下载下来了
在这里插入图片描述

在这里插入图片描述

通过网盘分享的文件：whisper
链接: https://pan.baidu.com/s/1D0MRGUsIjaQy0baVO7EzkA?pwd=1117
提取码: 1117
在这里插入图片描述

Mark White
关注
ASR - OpenAI whisper
AI工程化、开源分享、文档翻译、代码笔记
10-19 3164
关于 whisper Approach Setup 1、安装 whisper 2、安装依赖 ffmpeg 3、安装依赖 rust 可用的模型和语言 命令行用法 Python usage 更多示例 参考
whisper ASR体验
GuapoChen的博客
09-26 2321
9月21日，OpenAI 发布了一个名为「Whisper 」的神经网络，声称其在英语语音识别方面已接近人类水平的鲁棒性和准确性。「Whisper 」式一个自动语音识别（ASR）系统，研究团队通过使用从网络上收集的68万个小时多语音和多任务监督数据，来对其进行训练。训练过程中研究团队发现，使用如此庞大且多样化的数据集可以提高对口音、背景噪音和技术语言的鲁棒性。
体验 Whisper ，本地离线部署自己的 ASR 语音识别服务
分享数据科学家的自我修养
08-06 5325
用 Whisper 本地离线部署自己的 ASR 语音识别服务
用openai开源的whisper部署自己的语音识别系统
最新发布
u013220851的博客
11-17 1631
但是我们今天不按照官方的文档部署，而使用这个项目https://github.com/ahmetoner/whisper-asr-webservice，这个项目在whisper基础上提供了web界面，并且可以用docker部署，非常方便。Openai开源了自己的语音识别项目whisper，可将视频和语音文件转为文字，个人认为效果可以比肩科大讯飞的收费产品，并且无需GPU，普通配置就可以运行。先试一下语音识别，点击"Try it out"按钮，填写参数，上传语音或视频文件，点击Execute就可以转换了。
Whisper ASR Webservice 使用教程
gitblog_00918的博客
08-08 1713
Whisper ASR Webservice 使用教程 项目地址:https://gitcode.com/gh_mirrors/wh/whisper-asr-webservice 项目介绍 Whisper ASR Webservice 是一个基于 OpenAI 的 Whisper 模型的语音识别服务。Whisper 是一个通用的语音识别模型，它在大规模多样化的音频数据集上进行训练，并且是一个多任务...
Whisper ASR Webservice 项目推荐
gitblog_07289的博客
09-13 576
Whisper ASR Webservice 项目推荐 whisper-asr-webservice OpenAI Whisper ASR Webservice API 项目地址: https://gitcode.com/gh_m...
Whisper OpenAI开源语音识别模型
在网搬砖的日常
06-04 9014
Whisper 是一个自动语音识别（ASR，Automatic Speech Recognition）系统，OpenAI 通过从网络上收集了 68 万小时的多语言（98 种语言）和多任务（multitask）监督数据对 Whisper 进行了训练。OpenAI 认为使用这样一个庞大而多样的数据集，可以提高对口音、背景噪音和技术术语的识别能力。除了可以用于语音识别，Whisper 还能实现多种语言的转录，以及将这些语言翻译成英语。语音转文字在许多不同领域都有着广泛的应用。
Whisper的应用
weixin_48827824的博客
09-30 2010
分享一波Whisper的应用，感兴趣的朋友可以试一试。
Springbooti+Mybatis学生信息管理系统
07-21
SpringBoot通过提供“开箱即用”的特性，避免了繁杂的配置工作，让开发者可以快速地专注于业务逻辑的实现。它内置了Tomcat服务器，使得我们可以直接运行主类启动服务，无需额外配置。此外，SpringBoot还支持自动配置...
Qunar容器集群监控系统架构实践
zhangjianfzf的博客
07-17 1080
在为调整后面临到的这些难点，进行进一步调研，结合 Qunar 自身经验和需求参考各类相关文档以及各大厂商的架构分享时，我们注意到了 VictoriaMetrics ，并在其官网列出的诸多用户案例中，发现知乎使用 VictoriaMetrics 的数据分享与我们的数据规模量级几乎一致，而且性能与资源表现都相当优异，非常符合我们期望需求，便开始了 VictoriaMetrics 的尝鲜旅程，也归结出适合我们生产场景的云原生监控体系架构，并在后续工作中通过使用测试完全满足我们需求，进行了全面替换使用。
[转]高负载并发网站架构分析
bluehire的专栏
12-23 2万+
由于自己正在做一个高性能大用户量的论坛程序，对高性能高并发服务器架构比较感兴趣，于是在网上收集了不少这方面的资料和大家分享。希望能和大家交流 msn: defender_ios@hotmail.com ——————————————————————————————————————— ? 初创网站与开源软件 6 ? 谈谈大型高负载网站服务器的优化心得! 8 ? Lighttpd+Squid+Apach
英语四级单词
xxiyy0411的博客
12-18 2万+
// ==UserScript== // @name 背单词 // @description 边上网边刷英语四级单词 // @namespace Xiaomaxin // @version 1.31 // @author Xiaomaxin // @include * // @require http://cdn.bootcss.com
北京地区研究生学位英语（GET）词汇
weixin_46169171的博客
11-25 1万+
北京地区研究生学位英语（GET）词汇 1.abandon有“无可奈何或不再尝试”的含义，而desert主要指“开小差或永不回头”，沙漠，功劳，美德， discard是“throw away something that is useless or worthless”，而quit常表示“辞职或戒掉”。  2. illustrate阐明，解释；illuminate照明，照亮；liberate解放；accelerate加速  3. absolute绝对的；abstract...
Whisper、React 和 Node 构建语音转文本 Web 应用程序
前端程序员、项目经理、人工智能博主
07-10 2184
OpenAI解释说，Whisper 是一种自动语音识别 (ASR) 系统，经过 680,000 小时从网络收集的多语言和多任务监督数据的训练。文本比音频更容易搜索和存储。然而，将音频转录为文本可能非常费力。像 Whisper 这样的 ASR 可以检测语音，并非常快速地将音频转录为文本，非常准确，这使其成为一种特别有用的工具。
用openai开源的whisper部署自己的语音识别系统秒杀收费产品
qq_41737694的博客
01-23 4608
3.language：告诉接口源文件中是用的什么语言，这个不需要指定，可以自动识别出来，如果指定错了输出的结果是不对的，比如本来是英文，但是参数填写为中文，识别程序就会以中文来识别，结果就是完全错的。按照上面的方法每次运行docker命令后，第一次打开网页都会重新下载模型，比较耗时，我们可以按照如下方式将模型保存到宿主机的指定目录下，这样第一次打开会将模型下载到这里，之后再打开速度就快了。先试一下语音识别，点击"Try it out"按钮，填写参数，上传语音或视频文件，点击Execute就可以转换了。
FastGPT 调用本地Whisper模型进行语音转文字
yixiuquan的博客
04-24 6419
fastgpt默认的语音转文字模型使用的openai里面的，由于我没有token故需要自己部署，经研究发现可以部署本地的whisper，但是该接口无法接入到oneapi（我目前没研究出来）。注：fastgpt的麦克风权限是本地部署的才能用，或者有HTTPS证书的才可以用（麦克风权限比较重要可能涉及隐私，故浏览器对这个要求比较严格）。3、找到要修改的文件并修改，一般容器都没有安装vim\nano等编辑器。将 `:` 替换为你要保存的新镜像的名称和标签。
OpenAI的人工智能语音识别模型Whisper详解及使用
热门推荐
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
06-05 5万+
拥有ChatGPT语言模型的OpenAI公司，开源了 Whisper 自动语音识别系统，OpenAI 强调 Whisper 的语音识别能力已达到人类水准。Whisper是一个通用的语音识别模型，它使用了大量的多语言和多任务的监督数据来训练，能够在英语语音识别上达到接近人类水平的鲁棒性和准确性。Whisper还可以进行多语言语音识别、语音翻译和语言识别等任务。
本地部署_语音识别工具_Whisper
谢彦的技术博客
11-12 3371
Whisper 是 OpenAI 的语音识别系统（几乎是最先进），它是免费的开源模型，可供本地部署。
Ubuntu安装whisper-ctranslate2语音识别工具全攻略
本文将详细介绍如何在Ubuntu 16.04系统上安装和使用whisper-ctranslate2，这是一个轻量级、高效的语音识别工具，基于faster-whisper和CTranslate2库。为了确保最佳性能，特别是对于配备NVIDIA Quadro RTX5000显卡的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值