Whisper 整体架构图

已于 2023-10-21 21:17:33 修改
阅读量1k 收藏
点赞数 2
分类专栏： 人工智能 文章标签： whisper
于 2023-10-21 21:15:56 首次发布
License CC BY-NC-SA 4.0 / 自豪地采用谷歌翻译
本文链接：https://blog.csdn.net/wizardforcel/article/details/133966432
版权

Attention

注意力机制模块，兼容自注意力和交叉注意力。

在这里插入图片描述

AttentionBlock

Transformer 模块，包含一个自注意力，一个交叉注意力（可选）和一个 MLP 模块。

在这里插入图片描述

AudioEncoder+TextDecoder

音频编码器和文本解码器。编码器的 Transformer 模块只有自注意力，解码器的Transformer 模块有一个自注意力一个交叉注意力。

在这里插入图片描述

Whisper

Whisper 整体模型。

在这里插入图片描述

Whisper：AI人工智能语音处理的变革者
AI天才研究院
04-08 909
本文章的目的在于全面剖析Whisper在AI人工智能语音处理领域的关键作用和变革性影响。我们将详细探讨Whisper的核心概念、算法原理、数学模型等技术细节，通过实际案例展示其在项目中的应用，分析其适用的实际场景。同时，为读者提供学习和开发Whisper相关技术所需的工具、资源以及相关论文著作推荐。范围涵盖了从理论原理到实际应用的各个方面，旨在让读者对Whisper有一个系统、深入的了解。本文将按照以下结构进行组织：首先介绍背景信息，包括目的、预期读者和文档结构概述；
Whisper使AI人工智能语音识别更精准可靠
最新发布
AI天才研究院
04-05 590
本文旨在深入解析Whisper语音识别系统的核心技术原理、架构设计和实现细节。我们将探讨Whisper如何利用大规模弱监督训练和Transformer架构实现前所未有的语音识别准确率，特别是在噪声环境、口音变化和专业术语识别等挑战性场景中的表现。本文首先介绍Whisper的基本概念和技术背景，然后深入分析其核心架构和算法原理。接着我们将探讨数学模型和训练方法，提供实际代码示例，并讨论应用场景和优化策略。最后，我们将展望Whisper技术的未来发展方向和潜在挑战。Whisper。
深入了解 Whisper 的架构、用法以及在语音识别领域的应用和性能特征
weixin_41046245的博客
06-13 2749
Whisper 是一个基于 Transformer 序列到序列模型的通用语音识别系统，经过训练可以执行多语种语音识别、语音翻译和语言识别任务。本文将深入介绍 Whisper 的工作原理、设置方法、可用模型及其性能评估。
OpenAI的人工智能语音识别模型Whisper详解及使用
热门推荐
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
06-05 5万+
拥有ChatGPT语言模型的OpenAI公司，开源了 Whisper 自动语音识别系统，OpenAI 强调 Whisper 的语音识别能力已达到人类水准。Whisper是一个通用的语音识别模型，它使用了大量的多语言和多任务的监督数据来训练，能够在英语语音识别上达到接近人类水平的鲁棒性和准确性。Whisper还可以进行多语言语音识别、语音翻译和语言识别等任务。
【机器学习】Whisper：开源语音转文本（speech-to-text）大模型实战
人工智能领域博客
06-28 2万+
本文是上一篇chatTTS文章的夫妻篇，既然教了大家如何将文本转语音，就一定要教大家如何将语音转成文本，这样技术体系才完整。首先简要概述了Whisper的模型原理，然后基于transformers的pipeline库2行代码实现了Whisper模型推理，希望可以帮助到大家。码字不易，如果喜欢期待您的关注+3连+投票。
语音识别之CTC，RNA，RNN-T，Neural Transducer，MoChA模型详解——语音信号处理学习（四）
m0_56942491的博客
10-24 1754
LAS：就是 seq2seqCTC：decoder 是 linear classifier 的 seq2seqRNA：输入一个东西就要输出一个东西的 seq2seqRNN-T：输入一个东西可以输出多个东西的 seq2seqNeural Transducer：每次输入一个 window 的 RNN-TMoCha：window 移动伸缩自如的 Neural Transducer。
【机器学习】Whisper：开源语音转文本（speech-to-text）大模型实战_whisper模型
月流霜的专栏
07-26 969
本文是上一篇chatTTS文章的夫妻篇，既然教了大家如何将。
超低功耗“Whisper”架构为物联网、可穿戴设备连接性IP
08-29
Imagination Technologies 推出的Ensigma Series4 'Whisper'是一款专为物联网（IoT）、可穿戴设备和各种联网设备设计的低功耗无线电处理器（RPU）架构。这款架构的核心在于满足这些新型设备对超低功耗和低成本的需求...
whisper_whisper客服系统_whisper_whisper客服系统开源服务端_
09-29
首先，我们要了解`whisper客服系统`的基本架构。它通常包括前端界面（供客服人员和客户使用）、后端服务（处理请求和数据存储）以及可能的第三方集成（如社交媒体平台或API接口）。在开源服务端`whisper_server`中，...
OpenAI Whisper：语音识别技术的革新者—深入架构与参数
llm_way的博客
01-12 1904
当下语音识别技术正以前所未有的速度发展，极大地推动了人机交互的便利性和效率。OpenAI的Whisper系统无疑是这一领域的佼佼者，它凭借其卓越的性能、广泛的适用性和创新的技术架构，正在重新定义语音转文本技术的规则。今天我们一起了解一下Whisper的架构、核心能力以及其丰富的参数设置，帮助读者更好地理解这一前沿技术。
运用Whisper语音模型的能源数据语音交互
AI天才研究院
04-12 387
运用Whisper语音模型的能源数据语音交互 1. 背景介绍 在当今数字化时代,能源行业正面临着巨大的挑战。能源数据的收集、分析和应用一直是行业内的热点话题。随着语音交互技术的不断进步,将其应用于能源数据管理和分析,可以为能源企业带来全新的数据获取和处理方式。本文将重点介绍如何利用OpenAI的Whisper语音模型实现能源数据的语音交
【语音助手】语音识别框架的简单介绍
似水流年
01-16 3209
这些TTS框架和服务可以满足不同的需求，有的适合在云端部署，有的提供丰富的音色选择，有的适合定制和在本地部署。这些框架专注于在资源受限的嵌入式设备上运行，并提供了适用于边缘计算场景的语音识别能力。: Hugging Face 的 Transformers 库提供了预训练的语言模型（如BERT、GPT等）的实现，并提供了易用的API和各种模型的预训练权重。: SpaCy 是一个用于自然语言处理的现代化库，提供了高效的文本处理工具和预训练的模型，在命名实体识别（NER）、词性标注、依存句法分析等方面表现出色。
SenseVoice 实测，阿里开源语音大模型，识别效果和效率优于 Whisper，居然还能检测掌声、笑声！5分钟带你部署体验
u010522887的专栏
07-23 3万+
阿里开源语音大模型：语音识别效果和性能强于 Whisper，还能检测掌声、笑声、咳嗽等
大模型之二十七-语音识别Whisper实例浅析
shichaog的专栏
08-28 9662
output_dir:模型权重存储的位置generation_max_length:在评估时，自回归生成token的最大值save_steps:在训练时，中间的checkpoint将在save_step时被保存eval_steps:在训练时，每eval_steps到达时会评估模型性能report_to：训练的log保持的位置fp16=True,
语音识别模型whisper的参数说明
duzm200542901104的专栏
06-30 1万+
它是在各种音频的大型数据集上训练的，也是一个多任务模型，可以执行多语言语音识别、语音翻译和语言识别。如果为true，则前一个模型的输出会作为下一个窗口的提示，禁用可能导致窗口之间的文本不一致，但该模型不太容易陷入故障循环。在CPU接口下，torch使用的线程数量，取代 MKL_NUM_THREADS/OMP_NUM_THREADS。在srt和vtt中说出的每个单词下面加下划线(条件：--word_timestamps True)模型文件的保存路径，默认值：~/.cache/whisper。
本地搭建 Whisper 语音识别模型全攻略
东境物语
08-29 5580
Whisper 语音识别模型是由 OpenAI 开发的一款强大工具。它具有开源的特性，这意味着开发者可以自由获取和使用其相关代码进行研究和应用开发。Whisper 最为显著的特点之一是其出色的多语言处理能力，能够识别和处理多种语言的语音信息。它通过从网络上收集大量的多语言和多任务监督数据进行训练，从而能够应对各种口音、背景噪音和技术术语，在不同语言环境下都能展现出较高的识别准确性和鲁棒性。无论是常见的主流语言，还是一些较为小众的语言，Whisper 都能够进行有效的语音识别。
学习实践-Whisper语音识别模型实战（部署+运行）
LZL2020LZL的博客
04-12 8678
OpenAI的语音识别模型Whisper，Whisper 是一个自动语音识别（ASR，Automatic Speech Recognition）系统，OpenAI 通过从网络上收集了 68 万小时的多语言（98 种语言）和多任务（multitask）监督数据对 Whisper 进行了训练。OpenAI 认为使用这样一个庞大而多样的数据集，可以提高对口音、背景噪音和技术术语的识别能力。除了可以用于语音识别，Whisper 还能实现多种语言的转录，以及将这些语言翻译成英语。
Whisper OpenAI开源语音识别模型
在网搬砖的日常
06-04 9037
Whisper 是一个自动语音识别（ASR，Automatic Speech Recognition）系统，OpenAI 通过从网络上收集了 68 万小时的多语言（98 种语言）和多任务（multitask）监督数据对 Whisper 进行了训练。OpenAI 认为使用这样一个庞大而多样的数据集，可以提高对口音、背景噪音和技术术语的识别能力。除了可以用于语音识别，Whisper 还能实现多种语言的转录，以及将这些语言翻译成英语。语音转文字在许多不同领域都有着广泛的应用。
Whisper 语音识别模型
06-09 1128
本项目目标分为ChatGPT(网页)版和API版两种模式。ChatGPT(网页) 版代表版号为v1.5.x的版本；API版代表版号为v1.6的版本 实体区别见：https://github.com/lss233/chatgpt-mirai-qq-bot/issues/82 当前浏览的是网页版，点这里切换至API版。
whisper本地安装
03-15
### Whisper 本地安装教程 #### 环境准备 为了成功在本地环境中安装并运行 Whisper，需先确认操作系统及其版本。以下是针对不同操作系统的具体安装指南。 --- #### macOS (基于 M1 Pro, macOS 13.6) macOS 用户可以按照以下步骤完成 Whisper 的安装： 1. **Python 安装** - 推荐使用 Python 3.9 或更高版本。可以通过 Homebrew 来安装最新版的 Python[^3]。 ```bash brew install python@3.9 ``` 2. **依赖库管理工具 Conda** - 使用 Anaconda 或 Miniconda 创建虚拟环境以隔离项目依赖项。 ```bash conda create -n whisper-env python=3.9 conda activate whisper-env ``` 3. **Whisper 库安装** - 在激活的虚拟环境下通过 pip 安装 `openai-whisper`。 ```bash pip install git+https://github.com/openai/whisper.git ``` 此命令会自动拉取最新的 Whisper 版本并解决其依赖关系[^1]。 4. **FFmpeg 配置** - FFmpeg 是处理音频文件的重要工具，可通过 Homebrew 轻松安装。 ```bash brew install ffmpeg echo 'export PATH="/usr/local/opt/ffmpeg/bin:$PATH"' >> ~/.zshrc source ~/.zshrc ``` 5. **验证 GPU 支持** - 对于 Apple Silicon 设备（如 M1/M2），推荐利用 MPS 后端加速推理速度。确保 PyTorch 已正确配置支持 MPS 加速。 ```python import torch print(torch.backends.mps.is_available()) # 输出 True 表明可用 ``` --- #### Windows 系统安装流程 对于 Windows 平台上的用户，则可遵循如下方法来设置开发环境： 1. **Python 和 Anaconda 下载** - 访问官方站点下载适用于 Windows 的 Python 3.11 及 Anaconda 发行包[^2]。 2. **创建新环境** - 执行以下指令建立名为 “whisper”的独立工作区： ```bash conda create -n whisper python=3.11 conda activate whisper ``` 3. **引入必要模块** - 利用 pip 命令获取所需软件包以及额外资源： ```bash pip install git+https://github.com/openai/whisper.git pip install ffmpeg-python ``` 4. **测试初始执行状况** - 尝试加载预训练模型并对样例数据进行转录分析，以此检验整体架构是否正常运作。 ```python import whisper model = whisper.load_model("base") result = model.transcribe("audio.mp3") print(result["text"]) ``` 5. **检查硬件兼容性** - 如果计算机配备 NVIDIA 显卡，请进一步核实 CUDA 是否被妥善集成到现有框架之中以便充分发挥图形处理器效能。 --- #### 自定义编译方式——whisper.cpp 除了上述两种主流途径外，还存在一种更为灵活的选择即采用 C++ 实现版本—whisper.cpp 。它允许开发者自行调整参数甚至优化性能表现而无需受限于特定平台约束条件限制: 1. 克隆仓库至本地磁盘位置； ```bash git clone https://github.com/ggerganov/whisper.cpp.git cd whisper.cpp ``` 2. 编译源码生成二进制文件； ```bash make ./main -h ``` 3. 提供输入音轨路径启动转换进程； ```bash ./main -f your_audio_file.wav ``` 以上便是关于如何从零起步搭建属于自己的 Whisper 系统实例指导说明文档全文内容总结概述完毕！ ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值