【MacOS】openai 语音识别模型 whisper 本地部署教程（cpu+mps方案）

置顶 已于 2024-12-06 22:25:42 修改
阅读量6.8k 收藏 31
点赞数 33
文章标签： macos 语音识别 whisper 神经网络 chatgpt
于 2024-02-27 17:17:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47662299/article/details/136326761
版权

目录

1. whisper 安装

openai-whisper

参考视频链接与安装过程

安装homebrew

安装Python （不要超过3.10）

安装Pytorch

安装ffmpeg

安装rust

安装whisper

注意事项

可能报错问题

2. 无法使用mac gpu 👉 使用whisper.cpp

​​​​​​​操作步骤

可能报错问题

3. 生成翻译字幕

系统环境：M1pro macOS 13.6

1. whisper 安装

openai-whisper

        以下的语言全部支持识别，数字越小的识别越准确

GitHub - openai/whisper: Robust Speech Recognition via Large-Scale Weak SupervisionRobust Speech Recognition via Large-Scale Weak Supervision - openai/whispericon-default.png?t=O83Ahttps://github.com/openai/whisper      

参考视频链接与安装过程

MACOS本地部署whisper ai, 一键生成中英文视频字幕_哔哩哔哩_bilibiliicon-default.png?t=O83Ahttps://www.bilibili.com/video/BV1GL411m7mv/?vd_source=c73b771a66067f7c5859120eb61e27aa

  1. 安装homebrew

    Homebrewicon-default.png?t=O83Ahttps://brew.sh/

  2. 安装Python （不要超过3.10）

  3. 安装Pytorch

     在官网按照以下方式选择以后，在终端输入下面的命令 安装pytorchvvhttps://pytorch.org/get-started/locally/https://pytorch.org/get-started/locally/icon-default.png?t=O83Ahttps://pytorch.org/get-started/locally/

  4. 安装ffmpeg

    brew install ffmpeg

  5. 安装rust

    pip install rust

  6. 安装whisper

    pip install -U openai-whisper

注意事项

  1. python版本不要超过3.10
  2. 在Jupyter notebook使用 最好使用 homebrew 安装 ffmpeg

可能报错问题

  1. homebrew安装报错 👉 使用命令2安装

2. 无法使用mac gpu 👉 使用whisper.cpp

GitHub - ggerganov/whisper.cpp: Port of OpenAI's Whisper model in C/C++Port of OpenAI's Whisper model in C/C++. Contribute to ggerganov/whisper.cpp development by creating an account on GitHub.icon-default.png?t=O83Ahttps://github.com/ggerganov/whisper.cpp 前面的whisper.ai我自己测试下来只能用cpu跑，命令行加上--device mps会报错，大家可以试一下，如果没问题的话可以继续用whisper.ai。

github上很多也反馈存在上述问题，无法使用mps。用cpu的处理速度比较慢，下面用whisper.cpp解决这个问题。测试下来速度有明显提升，大约3min可以用medium模型处理15min的日语视频。

​​​​​​​操作步骤

       1. 安装whisper.cpp

  • git clone <https://github.com/ggerganov/whisper.cpp.git>

  • 2. 打开网站，下载模型和对应.mlmodelc，放入whisper.cpp/model 文件夹中

    ggerganov/whisper.cpp at mainicon-default.png?t=O83Ahttps://huggingface.co/ggerganov/whisper.cpp/tree/main

  • 3. 把文件转换成wav文件（视频文件需要先事先提取音频）

    ffmpeg -i ./xxxx.mp3 -ar 16000 -ac 1 -c:a pcm_s16le ./xxxx.wav

  • 4. 输入命令，并生成srt文件

    ./main -m models/ggml-medium.bin -f samples/xxxx.wav -l ja -osrt

可能报错问题

        输入指令后一直卡死，把下面的进程kill掉

        

3. 生成翻译字幕

ranzi-yi
关注
学习实践-Whisper语音识别模型实战（部署+运行）
LZL2020LZL的博客
04-12 8831
OpenAI的语音识别模型Whisper，Whisper 是一个自动语音识别（ASR，Automatic Speech Recognition）系统，OpenAI 通过从网络上收集了 68 万小时的多语言（98 种语言）和多任务（multitask）监督数据对 Whisper 进行了训练。OpenAI 认为使用这样一个庞大而多样的数据集，可以提高对口音、背景噪音和技术术语的识别能力。除了可以用于语音识别，Whisper 还能实现多种语言的转录，以及将这些语言翻译成英语。
本地部署whisper模型（语音转文字）
maxcode
01-31 4195
Whisper是 OpenAI 2022年发布的一款语音预训练大模型，集成了多语种ASR、语音翻译、语种识别的功能。Whisper使用弱监督训练的方法，可以直接进行多任务的学习。
已达到人类水准语音识别模型的whisper，真的有这么厉害吗？
qq_21372359的博客
01-16 4788
好久不见，今天带大家简单的了解一下whisper，据说已经达到人类的水平，真的有折么厉害吗
解锁语音AI新高度：Whisper技术详解与实战应用
最新发布
远程部署调试 运行安装 项目调试 二次开发 项目技术新 持续迭代 部分源码免费分享
04-12 1630
从代码实现到行业落地，Whisper 正在重塑语音交互的未来。尽管存在局限性，其创新架构和开源生态为开发者提供了无限可能。随着技术迭代和场景深化，这个 "会听话" 的 AI 模型有望成为数字世界的通用接口。关注作者获取最新 AI 技术动态与实战案例！
Whisper（语音识别，语音转文本）本地部署
weixin_45972052的博客
04-10 4629
如果后面运行时，出现 系统找不到指定文件 的bug时，尝试在上一步添加环境变量中，也添加一个系统变量，并重启一下电脑。在虚拟环境中进行安装。
记录本地部署 Whisper 模型的过程
aihuijutang的博客
11-29 6035
通过以上步骤，你已经成功地在 本地部署了 Whisper 模型，并利用 CUDA 加速推理过程。使用 Flask 构建了一个简单的 API，使得音频文件的转录变得非常方便。整个部署过程包括了环境准备、依赖安装、模型加载、音频处理、API 构建等步骤。部署 Whisper 模型并不复杂，但需要一定的硬件支持，尤其是在处理大型音频数据时，CUDA 和 GPU 能够提供显著的性能提升。希望本文能够帮助你顺利部署并使用 Whisper 进行语音转录。如果遇到任何问题，欢迎继续提问。
语音识别之whisper本地部署（实时语音之开篇）
仗剑行于江湖，执笔记江湖事。
03-25 1026
Whisper是由OpenAI开发的开源语音识别模型，以其著称。它通过68万小时的多语言、多任务数据训练，覆盖100+语言，支持语音转录、翻译和语言检测，成为目前最通用的语音识别工具之一。
OpenAI 开源的免费 AI 语音转文字工具 - Whisper，一步一步本地部署运行
TechAI的博客
03-21 7018
Whisper 是 OpenAI 研发的一个通用的语音识别模型，可以把语音转为文本。它在大量多样化的音频数据集上进行训练，同时还是一个多任务模型，可以执行多语言语音识别、语音翻译和语言识别
Mac 安装OpenAI的开源语音神器Whisper
总结复盘，才能不迷失自己！
10-05 2625
Whisper 是 OpenAI 开源的语音神器，可以实现识别音频、视频中的人声，并将人声转换为字幕内容，保存到文件；
本地部署，Whisper: 开源语音识别模型
07-24 2932
Whisper 是一个由 OpenAI 训练的强大的开源语音识别模型，它可以将语音转换为文本。Whisper 支持多种语言和语音，并且能够识别不同口音和背景噪音。它在各种语音识别任务中表现出色，包括语音转文本、语音翻译和语音命令识别。Whisper 是一个强大且易于使用的开源语音识别模型，它可以应用于各种场景。其多语言支持、高精度和鲁棒性使其成为语音识别任务的理想选择。t=N7T8。
如何本地搭建Whisper语音识别模型｜语音识别｜本地部署
08-30 1584
在语音识别技术的迅猛发展下，Whisper作为一个开源的语音识别模型，以其卓越的性能和开源的优势受到了广泛的关注。对于开发者和研究人员而言，在本地环境中搭建Whisper模型，不仅能更好地控制数据安全，还能在不同场景中灵活应用。然而，许多人在本地搭建这一模型时可能会遇到诸多挑战。本文将详细介绍如何在本地环境中搭建Whisper语音识别模型，涵盖从环境配置到模型部署的各个环节，并结合代码实例帮助您轻松实现。
用openai开源的whisper部署自己的语音识别系统
u013220851的博客
11-17 1755
但是我们今天不按照官方的文档部署，而使用这个项目https://github.com/ahmetoner/whisper-asr-webservice，这个项目在whisper基础上提供了web界面，并且可以用docker部署，非常方便。Openai开源了自己的语音识别项目whisper，可将视频和语音文件转为文字，个人认为效果可以比肩科大讯飞的收费产品，并且无需GPU，普通配置就可以运行。先试一下语音识别，点击"Try it out"按钮，填写参数，上传语音或视频文件，点击Execute就可以转换了。
本地部署 whisper-medusa
engchina的专栏
08-04 689
本地部署 whisper-medus
本地部署Whisper Web结合内网穿透实现远程访问本地语音转文本模型
热门推荐
科技改变人类，技术成就未来
06-21 1万+
本地部署Whisper Web结合内网穿透实现远程访问本地语音转文本模型
本地部署Whisper实现语言转文字
m0_52474839的博客
05-25 2238
非常适合转录英语。要转录包含非英语语音的音频文件，您可以使用以下选项指定语言。修改本地代码，将sample修改为，需要转录的录音，接入代理；借用huggingface的速度，速度取决于网速。进入huggingface网址，往下拉。以管理员身份运行PowerShell。环境windows10 64位。安装成功打入choco。
Linux系统上部署Whisper。
yhl18931306541的博客
06-27 3738
Linux系统上部署Whisper。
本地部署 Whisper 及 WhisperDesktop
engchina的专栏
05-08 8380
本地部署 Whisper 及 WhisperDesktop
在 windows 上部署使用 Whisper 教程
lazy_11的博客
09-16 9767
Whisper是 OpenAI 提供的开源语音识别模型，能够将音频文件转录为文本或字幕文件，支持多种语言和多格式输出。自动检测和转录多语言音频。支持生成.txt.srt.vtt等格式的字幕文件。能够处理嘈杂环境下的音频。通过 GPU 加速，提高转录效率。通过这篇教程，你已经了解了如何在 Windows 系统上部署 Whisper，创建虚拟环境、安装必要依赖，并利用 GPU 加速音频转录。
搭建Whisper本地语音识别系统
weixin_58606202的博客
09-09 1323
Python 3.7及以上版本CUDA支持的GPU（可选但推荐，以提升模型的运行速度）Git通过上述步骤，你已经成功在本地搭建了一个Whisper语音识别系统。你可以进一步根据需要自定义和扩展这一系统，以满足更多复杂的应用场景。祝你使用愉快！如有任何问题，请参考Whisper官方GitHub仓库获取更多帮助。
whisper本地安装
03-15
### Whisper 本地安装教程 #### 环境准备 为了成功在本地环境中安装并运行 Whisper，需先确认操作系统及其版本。以下是针对不同操作系统的具体安装指南。 --- #### macOS (基于 M1 Pro, macOS 13.6) macOS 用户可以按照以下步骤完成 Whisper 的安装： 1. **Python 安装** - 推荐使用 Python 3.9 或更高版本。可以通过 Homebrew 来安装最新版的 Python[^3]。 ```bash brew install python@3.9 ``` 2. **依赖库管理工具 Conda** - 使用 Anaconda 或 Miniconda 创建虚拟环境以隔离项目依赖项。 ```bash conda create -n whisper-env python=3.9 conda activate whisper-env ``` 3. **Whisper 库安装** - 在激活的虚拟环境下通过 pip 安装 `openai-whisper`。 ```bash pip install git+https://github.com/openai/whisper.git ``` 此命令会自动拉取最新的 Whisper 版本并解决其依赖关系[^1]。 4. **FFmpeg 配置** - FFmpeg 是处理音频文件的重要工具，可通过 Homebrew 轻松安装。 ```bash brew install ffmpeg echo 'export PATH="/usr/local/opt/ffmpeg/bin:$PATH"' >> ~/.zshrc source ~/.zshrc ``` 5. **验证 GPU 支持** - 对于 Apple Silicon 设备（如 M1/M2），推荐利用 MPS 后端加速推理速度。确保 PyTorch 已正确配置支持 MPS 加速。 ```python import torch print(torch.backends.mps.is_available()) # 输出 True 表明可用 ``` --- #### Windows 系统安装流程 对于 Windows 平台上的用户，则可遵循如下方法来设置开发环境： 1. **Python 和 Anaconda 下载** - 访问官方站点下载适用于 Windows 的 Python 3.11 及 Anaconda 发行包[^2]。 2. **创建新环境** - 执行以下指令建立名为 “whisper”的独立工作区： ```bash conda create -n whisper python=3.11 conda activate whisper ``` 3. **引入必要模块** - 利用 pip 命令获取所需软件包以及额外资源： ```bash pip install git+https://github.com/openai/whisper.git pip install ffmpeg-python ``` 4. **测试初始执行状况** - 尝试加载预训练模型并对样例数据进行转录分析，以此检验整体架构是否正常运作。 ```python import whisper model = whisper.load_model("base") result = model.transcribe("audio.mp3") print(result["text"]) ``` 5. **检查硬件兼容性** - 如果计算机配备 NVIDIA 显卡，请进一步核实 CUDA 是否被妥善集成到现有框架之中以便充分发挥图形处理器效能。 --- #### 自定义编译方式——whisper.cpp 除了上述两种主流途径外，还存在一种更为灵活的选择即采用 C++ 实现版本—whisper.cpp 。它允许开发者自行调整参数甚至优化性能表现而无需受限于特定平台约束条件限制: 1. 克隆仓库至本地磁盘位置； ```bash git clone https://github.com/ggerganov/whisper.cpp.git cd whisper.cpp ``` 2. 编译源码生成二进制文件； ```bash make ./main -h ``` 3. 提供输入音轨路径启动转换进程； ```bash ./main -f your_audio_file.wav ``` 以上便是关于如何从零起步搭建属于自己的 Whisper 系统实例指导说明文档全文内容总结概述完毕！ ---
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值