51c音频模型~合集1

最新推荐文章于 2025-05-05 13:07:46 发布

whaosoft-143

最新推荐文章于 2025-05-05 13:07:46 发布

阅读量822

点赞数 12

分类专栏：人工智能文章标签：人工智能

本文链接：https://blog.csdn.net/weixin_49587977/article/details/147673980

版权

人工智能专栏收录该内容

318 篇文章

订阅专栏

我自己的原文哦~ https://blog.51cto.com/whaosoft/13885619

#Aero-1-Audio

LMMs-Lab发布1.5B音频语言模型，长音频转录直出，性能优异！

小参数、高性能、长上下文，性能优于Whisper和ElevenLabs。

导读：音频大模型领域再迎新星。近日，LMMs-Lab发布了一款轻量级但性能出众的音频大模型——Aero-1-Audio。该模型基于Qwen-2.5-1.5B语言模型构建，在参数量仅为1.5B的情况下，在多项音频基准测试中展现出与更大规模模型相媲美甚至更优的性能。尤其在长音频的语音识别场景下，Aero-1-Audio的表现更是令人瞩目。

项目资源：

1.🤗 模型权重：https://huggingface.co/lmms-lab/Aero-1-Audio

2.🔧 在线试玩：https://huggingface.co/spaces/lmms-lab/Aero-1-Audio-Demo

3.📚 使用指南：https://www.lmms-lab.com/posts/lmms-lab-docs/aero_audio/

ASR与音频理解能力全面评估

在自动语音识别(ASR)任务上，Aero-1-Audio在AMI、LibriSpeech和SPGISpeech等数据集上取得了最低的词错误率(WER)分数。在多个音频理解基准测试中，该模型同样表现出色，尤其是在音频分析、音频指令理解以及音频场景理解等方面。

具体而言，Aero-1-Audio在AMI数据集上的WER错误率为10.53，而其他模型的WER错误率都超过了11。Aero-1-Audio在LibriSpeech Clean上的WER仅为1.49，在SPGISpeech上的WER为1.97，这一表现超过了多款商用ASR服务，如ElevenLabs/Scribe、REV.AI/Fusion等，同时也优于经典的OpenAI Whisper large v3模型。

详细的评测结果如下图所示：

长音频处理能力的突破

Aero-1-Audio最引人注目的能力是其处理长音频的卓越表现。目前市场上大多数音频模型处理长音频的常见方法是将音频分割成较小的片段，然后分别进行处理。然而，随着大语言模型的发展，长上下文理解变得越来越重要。

LMMs-Lab团队认为，一个模型能够连续处理长音频序列的能力对于有效的音频理解至关重要，应被视为关键能力。在未分块的LibriSpeech数据集评估中，Aero-1-Audio展现出了明显优势：

在处理长音频时，其他模型的性能都有明显下降，而Aero-1-Audio的性能下降最小，展示了其处理长音频的鲁棒性。

在一个12分钟长视频的ASR测试中，Qwen-Omni在处理长片段时只能识别部分内容，Phi-4-Multimodal则会忽略指令而生成整体摘要，而Aero-1-Audio能够准确生成完整的转录结果。

高效训练，性能优越

Aero-1-Audio的一大亮点在于其高效的训练方式。研究团队仅使用了16块H100 GPU，在一天内完成了模型训练，所用训练数据量约为5万小时的音频数据。这一训练规模远小于当前主流音频大模型的训练数据集，如Qwen-Omni和Phi-4等模型的训练数据量是Aero-1-Audio的100倍以上。