【人工智能】Transformers之Pipeline（一）：音频分类（audio-classification）

置顶 已于 2024-07-12 22:08:31 修改
阅读量4k 收藏 122
点赞数 144
分类专栏： Pipeline 文章标签： 人工智能 音视频 机器学习 语音识别 实时音视频 python cnn
于 2024-07-12 22:07:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48007632/article/details/140360594
版权

​​​​​​​

目录

一、引言 

二、音频分类（audio-classification）

2.1 概述

2.2 技术原理

2.2.1 Wav2vec 2.0模型

 2.2.1 HuBERT模型

2.3 pipeline参数

2.3.1 pipeline对象实例化参数

2.3.2 pipeline对象使用参数 

2.4 pipeline实战

2.4.1 指令识别（默认模型）

 2.4.2 情感识别

2.5 模型排名

三、总结

一、引言 

 pipeline（管道）是huggingface transformers库中一种极简方式使用大模型推理的抽象，将所有大模型分为音频（Audio）、计算机视觉（Computer vision）、自然语言处理（NLP）、多模态（Multimodal）等4大类，28小类任务（tasks）。共计覆盖32万个模型

今天介绍Audio音频的第一篇，音频分类（audio-classification），在huggingface库内共有2500个音频分类模型。

二、音频分类（audio-classification）

2.1 概述

音频分类，顾名思义就是将音频打标签或分配类别的任务。主要应用场景有语音情绪分类、语音命令分类、说话人分类、音乐风格判别、语言判别等。

2.2 技术原理

音频分类，主要思想就是将音频的音谱切分成25ms-60ms的片段，通过CNN等卷积神经网络模型提取特征并进行embedding化，基于transformer与文本类别对齐训练。下面介绍2个代表模型：

2.2.1 Wav2vec 2.0模型

Wav2vec 2.0是 Meta在2020年发表的无监督语音预训练模型。它的核心思想是通过向量量化（Vector Quantization，VQ）构造自建监督训练目标，对输入做大量掩码后利用对比学习损失函数进行训练。模型结构如图，基于卷积网络（Convoluational Neural Network，CNN）的特征提取器将原始音频编码为帧特征序列，通过 VQ 模块把每帧特征转变为离散特征 Q，并作为自监督目标。同时，帧特征序列做掩码操作后进入 Transformer [5] 模型得到上下文表示 C。最后通过对比学习损失函数，拉近掩码位置的上下文表示与对应的离散特征 q 的距离，即正样本对。

 2.2.1 HuBERT模型

HuBERT是Meta在2021年发表的模型，模型结构类似 Wav2vec 2.0，不同的是训练方法。Wav2vec 2.0 是在训练时将语音特征离散化作为自监督目标，而 HuBERT 则通过在 MFCC 特征或 HuBERT 特征上做 K-means 聚类，得到训练目标。HuBERT 模型采用迭代训练的方式，BASE 模型第一次迭代在 MFCC 特征上做聚类，第二次迭代在第一次迭代得到的 HuBERT 模型的中间层特征上做聚类，LARGE 和 XLARGE 模型则用 BASE 模型的第二次迭代模型提取特征做聚类。从原始论文实验结果来看，HuBERT 模型效果要优于 Wav2vec 2.0，特别是下游任务有监督训练数据极少的情况，如 1 小时、10 分钟。

2.3 pipeline参数

2.3.1 pipeline对象实例化参数

  • 模型（PreTrainedModel或TFPreTrainedModel）— 管道将使用其进行预测的模型。 对于 PyTorch，这需要从PreTrainedModel继承；对于 TensorFlow，这需要从TFPreTrainedModel继承。
  • feature_extractor ( SequenceFeatureExtractor ) — 管道将使用的特征提取器来为模型编码数据。此对象继承自 SequenceFeatureExtractor。
  • modelcard（str或ModelCard，可选） — 属于此管道模型的模型卡。
  • framework（str，可选）— 要使用的框架，"pt"适用于 PyTorch 或"tf"TensorFlow。必须安装指定的框架。

    如果未指定框架，则默认为当前安装的框架。如果未指定框架且安装了两个框架，则默认为 的框架model，如果未提供模型，则默认为 PyTorch。

  • 任务（str，默认为""）— 管道的任务标识符。
  • num_workers（int，可选，默认为 8）— 当管道将使用DataLoader（传递数据集时，在 Pytorch 模型的 GPU 上）时，要使用的工作者数量。
  • batch_size（int，可选，默认为 1）— 当管道将使用DataLoader（传递数据集时，在 Pytorch 模型的 GPU 上）时，要使用的批次的大小，对于推理来说，这并不总是有益的，请阅读使用管道进行批处理。
  • args_parser（ArgumentHandler，可选） - 引用负责解析提供的管道参数的对象。
  • 设备（int，可选，默认为 -1）— CPU/GPU 支持的设备序号。将其设置为 -1 将利用 CPU，设置为正数将在关联的 CUDA 设备 ID 上运行模型。您可以传递本机torch.device或str太
  • torch_dtype（str或torch.dtype，可选） - 直接发送model_kwargs（只是一种更简单的快捷方式）以使用此模型的可用精度（torch.float16，，torch.bfloat16...或"auto"）
  • binary_output（bool，可选，默认为False）——标志指示管道的输出是否应以序列化格式（即 pickle）或原始输出数据（例如文本）进行。

2.3.2 pipeline对象使用参数 

  • 输入（np.ndarray或bytes或str或dict） — 输入可以是：
    • str这是音频文件的文件名，将以正确的采样率读取该文件以使用ffmpeg获取波形。这需要在系统上安装ffmpeg 。
    • bytes它应该是音频文件的内容，并以相同的方式由ffmpeg进行解释。
    • （np.ndarray形状为（n，）类型为np.float32或np.float64）正确采样率的原始音频（不再进行进一步检查）
    • dict形式可用于传递任意采样的原始音频sampling_rate，并让此管道进行重新采样。字典必须采用 或 格式{"sampling_rate": int, "raw": np.array}，{"sampling_rate": int, "array": np.array}其中键"raw"或 "array"用于表示原始音频波形。
  • top_k（int，可选，默认为 None）— 管道将返回的顶部标签数。如果提供的数字等于None或高于模型配置中可用的标签数，则将默认为标签数。

2.4 pipeline实战

2.4.1 指令识别（默认模型）

pipeline对于audio-classification的默认模型时superb/wav2vec2-base-superb-ks，使用pipeline时，如果仅设置task=audio-classification，不设置模型，则下载并使用默认模型。

import os
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
os.environ["CUDA_VISIBLE_DEVICES"] = "2"

from transformers import pipeline

speech_file = "./output_video_enhanced.mp3"
pipe = pipeline(task="audio-classification")
result = pipe(speech_file)
print(result)

 这是一个上下左右yes及no的指令识别模型，感觉像是训练动物。

[{'score': 0.9988580942153931, 'label': '_unknown_'}, {'score': 0.000909291033167392, 'label': 'down'}, {'score': 9.889943612506613e-05, 'label': 'no'}, {'score': 7.015655864961445e-05, 'label': 'yes'}, {'score': 5.134344974067062e-05, 'label': 'stop'}]

 2.4.2 情感识别

我们指定模型为情感识别模型ehcalabres/wav2vec2-lg-xlsr-en-speech-emotion-recognition，具体代码为：

import os
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
os.environ["CUDA_VISIBLE_DEVICES"] = "2"

from transformers import pipeline

speech_file = "./output_video_enhanced.mp3"
pipe = pipeline(task="audio-classification",model="ehcalabres/wav2vec2-lg-xlsr-en-speech-emotion-recognition")
result = pipe(speech_file)
print(result)

输入为一段mp3格式的语音，输出为

[{'score': 0.13128453493118286, 'label': 'angry'}, {'score': 0.12990005314350128, 'label': 'calm'}, {'score': 0.1262471228837967, 'label': 'happy'}, {'score': 0.12568499147891998, 'label': 'surprised'}, {'score': 0.12327362596988678, 'label': 'disgust'}]

2.5 模型排名

在huggingface上，我们筛选音频分类模型，并按下载量从高到低排序：

三、总结

本文对transformers之pipeline的音频分类（audio-classification）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的代码极简的进行音频分类推理，应用于音频情感识别、音乐曲风判断等业务场景。

期待您的3连+关注，如何还有时间，欢迎阅读我的其他文章：

《Transformers-Pipeline概述》

【人工智能】Transformers之Pipeline（概述）：30w+大模型极简应用

《Transformers-Pipeline 第一章：音频（Audio）篇》

【人工智能】Transformers之Pipeline（一）：音频分类（audio-classification）​​​​​​​

【人工智能】Transformers之Pipeline（二）：自动语音识别（automatic-speech-recognition）

【人工智能】Transformers之Pipeline（三）：文本转音频（text-to-audio）

【人工智能】Transformers之Pipeline（四）：零样本音频分类（zero-shot-audio-classification）

《Transformers-Pipeline 第二章：计算机视觉（CV）篇》

【人工智能】Transformers之Pipeline（五）：深度估计（depth-estimation）

【人工智能】Transformers之Pipeline（六）：图像分类（image-classification）

【人工智能】Transformers之Pipeline（七）：图像分割（image-segmentation）

【人工智能】Transformers之Pipeline（八）：图生图（image-to-image）

【人工智能】Transformers之Pipeline（九）：物体检测（object-detection）

【人工智能】Transformers之Pipeline（十）：视频分类（video-classification）

【人工智能】Transformers之Pipeline（十一）：零样本图片分类（zero-shot-image-classification）

【人工智能】Transformers之Pipeline（十二）：零样本物体检测（zero-shot-object-detection）

《Transformers-Pipeline 第三章：自然语言处理（NLP）篇》

【人工智能】Transformers之Pipeline（十三）：填充蒙版（fill-mask）

【人工智能】Transformers之Pipeline（十四）：问答（question-answering）

【人工智能】Transformers之Pipeline（十五）：总结（summarization）

【人工智能】Transformers之Pipeline（十六）：表格问答（table-question-answering）

【人工智能】Transformers之Pipeline（十七）：文本分类（text-classification）

【人工智能】Transformers之Pipeline（十八）：文本生成（text-generation）

【人工智能】Transformers之Pipeline（十九）：文生文（text2text-generation）

【人工智能】Transformers之Pipeline（二十）：令牌分类（token-classification）

【人工智能】Transformers之Pipeline（二十一）：翻译（translation）

【人工智能】Transformers之Pipeline（二十二）：零样本文本分类（zero-shot-classification）

《Transformers-Pipeline 第四章：多模态（Multimodal）篇》

【人工智能】Transformers之Pipeline（二十三）：文档问答（document-question-answering）

【人工智能】Transformers之Pipeline（二十四）：特征抽取（feature-extraction）

【人工智能】Transformers之Pipeline（二十五）：图片特征抽取（image-feature-extraction）

【人工智能】Transformers之Pipeline（二十六）：图片转文本（image-to-text）

【人工智能】Transformers之Pipeline（二十七）：掩码生成（mask-generation）

【人工智能】Transformers之Pipeline（二十八）：视觉问答（visual-question-answering）

LDG_AGI
关注
  • 144
    点赞
  • 踩
  • 122
    收藏
    觉得还不错? 一键收藏
  • 107
    评论
专栏目录
音频分类-有监督-案例01：ESC-50 audio classification
u013250861的博客
07-15 513
音频分类-有监督-案例01ESC-50audioclassification。
Audio-Classification:使用Java将音频文件分类为语音和音乐类
05-02
音频分类 使用Java将音频文件分类为语音和音乐类
报告：End-to-End Object Detection with Transformers.pdf
01-03
End-to-End Object Detection with Transformers 论文讲解
AudioClassification:该软件是使用Python和Tensorflow进行音频信号处理和机器学习的演示。 该软件包含一个GUI，该GUI可以通过网络摄像头或连接到计算机的外部音频设备流式传输音频，并使用卷积和_或循环神经网络实时处理音频，以执行音频分类，例如语音识别，音乐分类等。（取决于网络的培训方式）。 数据集可以安排在目录中，其中父目录的名称表示分类类别。 这样，可以为单个网络训练多种类型的二进制独立音频数据，最终构建一个复杂的神经网络。
05-02
音频分类和信号处理 该软件是使用Python和Tensorflow进行音频信号处理和机器学习的演示。 该软件体系结构保持了用于存储和处理音频输入数据的灵活性，即将需要执行分类的音频样本保存在具有唯一名称的目录中。 然后需要在分类器文件中提及文件夹名称，然后自动创建/加载网络。 该软件包含一个GUI，该GUI可以通过网络摄像头或连接到计算机的外部音频设备流式传输音频，并使用卷积和/或循环神经网络实时处理（执行分类并相应地存储数据）音频，以执行音频分类。例如语音识别，音乐分类等（取决于网络的训练方式）。 数据集可以安排在目录中，其中父目录的名称表示分类类别。 通过这种方式，可以为单个网络训练多种类型的二进制独立音频数据，最终构建一个复杂的神经网络。 结果，仅通过键入必须对其执行分类的目录的名称就可以进行任何分类。 目录中的音频数据表示正（正确）输出类，其他目录中的其余数据表示负（不正确）输出类
推荐文章：VGGish - 声音分类的VGG风格模型
gitblog_00019的博客
06-26 394
推荐文章：VGGish - 声音分类的VGG风格模型 项目地址:https://gitcode.com/DTaoo/VGGish 1、项目介绍 VGGish 是一个由Keras和TensorFlow后端实现的音频分类模型，灵感来源于AudioSet项目。这个开源库提供了一个预训练模型，旨在帮助开发者和研究人员在音频处理领域进行深度学习。它包括两个版本的预训练权重，一个是带有顶部全连接层的完整模型，...
音乐与人工智能：如何实现音频识别与分类
禅与计算机程序设计艺术
12-27 1284
1.背景介绍 音频识别和分类是人工智能领域中的一个重要研究方向，它涉及到识别和分类音频信号，以实现各种应用，如音乐推荐、语音识别、语音命令等。音频信号是一种复杂的信号，包含了人类语言、音乐、声音等多种信息。因此，音频识别和分类的任务是非常具有挑战性的。 在过去的几年里，随着深度学习技术的发展，特别是卷积神经网络(Convolutional Neural Networks，CNN)和递归神经网络...
从零搭建音乐识别系统（三）音乐分类模型
胖胖大海的博客
01-09 1966
经过上一篇的介绍，我们已经获得了AudioSet开源数据集，并且将数据集分为两类：音乐类和非音乐类。将每段10秒的音频提取得到[64, 1001]大小的特征矩阵。接下来就是使用这些特征矩阵来训练一个二分类模型，用来识别音频片段是否是音乐片段。 参考自成熟的图像分类网络模型，我们采用Pytorch框架训练ResNet分类模型，分类模型的训练主要包括以下几个核心步骤： 1、训练数据预处理 由于我们的每条训练数据是保存在npy文件里面的，所以我们需......
【人工智能】Transformers之Pipeline（概述）：30w+大模型极简应用
最新发布
人工智能领域博客
07-10 8242
本文为transformers之pipeline专栏的第0篇，后面会以每个task为一篇，共计讲述28+个tasks的用法，通过28个tasks的pipeline使用学习，可以掌握语音、计算机视觉、自然语言处理、多模态乃至强化学习等30w+个huggingface上的开源大模型。让你成为大模型领域的专家！
语音分类—audio classification
weixin_45709220的博客
08-01 703
参考了Mehrdad Farahani的GitHub项目:https://github.com/m3hrdadfi/soxan/tree/main。参考了transformers的官方文档:https://huggingface.co/docs。在datasets库中加载本地数据集可以通过csv，json等方式，我用的是加载csv文件。
音频识别(Audio Classification)学习笔记
Killer_kali的博客
02-06 6872
音频分类(audio classification) 音频分类(audio classification) 一.音频的定义以及音频三要素 二.音频数据的存储方式 三.关于音频的一些专业名词 1.采样率 2.采样位数 3.比特率 4.音频编码 5.声道数 6.码率 7.音频帧 8.音频格式 四.python处理音频文件 1.wave包处理音频并绘制模拟信号图 2.音频数据的准备 (1)wave文件的读入(torchaudio.load) (2)wave文件的声道统一化 (3)wave文件的采样率
Audio-Classification-using-CNN-MLP:使用深度学习（MLP、CNN）的多类音频分类
05-29
使用 CNN-MLP 的音频分类 使用深度学习（CNN、MLP）的多类音频分类 引文 如果你觉得这个项目有帮助，请引用如下： @software{vishal_sharma_2020_3988690, author = {Vishal Sharma}, title = {{vishalshar/Audio-Classification-using-CNN-MLP: first release}}, month = Aug, year = 2020, publisher = {Zenodo}, version = {v1.0.0}, doi = {10.5281/zenodo.3988690}, url = {
Audio_Classification_using_LSTM:使用基于LSTM的模型对城市声音音频数据集进行分类
05-28
使用LSTM进行音频分类 使用基于LSTM的模型对城市声音音频数据集进行分类。 要求 pytorch == 1.0.1 scipy == 1.2.0 火炬视觉== 0.2.1 熊猫== 0.24.1 numpy == 1.14.3 torchaudio == 0.2 librosa == 0.6.3 pydub = = 0.23.1 按照测试数据进行测试的步骤 在当前目录中创建一个名为data / test的文件夹，其中将包含所有要测试的“ .wav”文件。 从此下载“ bestModel.pt”，并将其放置在当前目录中。 运行以下命令： python preprocess.py python eval.py 将会在当前目录中生成一个名为“ test_predictions.csv”的csv文件，其中包含所有测试文件及其相应的预测标签。 团队 阿尼什·马丹（Anish
声音分类模型
03-19
声音分类模型声音分类模型
基于多深度模型集成的音频场景分类方法研究.pdf
06-24
该论文来自于哈尔滨工业大学的彭凡凡，主要尝试了各种深度学习方法,如多层感知机(Multi-Layer Perceptron,MLP)、卷积神经网络(Convolutional Neural Network,CNN)、长短时循环神经网络(Long Short-Term Memory,LSTM)，对音频场景进行识别分类。
Transformer-Transducer语音识别
05-20
复现成功且有重写readme复现成功且有重写readme复现成功且有重写readme复现成功且有重写readme复现成功且有重写readme复现成功且有重写readme复现成功且有重写readme
Transformers_for_Text_Classification：基于Transformers的文本分类
02-03
Transformers_for_Text_Classification基于Transformers的文本分类基于最新的出品的v2.2.2代码进行重构。为了保证代码日后可以直接复现而不出现兼容性问题，这里将放到本地进行调用。强调支持transformer模型后接...
Bert-Multi-Label-Text-Classification：此存储库包含用于多标签文本分类的预训练BERT模型的PyTorch实现
02-03
PyTorch的Bert多标签文本分类此仓库包含用于多标签文本分类的预训练BERT和XLNET模型的PyTorch实现。代码结构在项目的根目录，您将看到： ├── pybert| └── callback| | └── lrscheduler.py　| | └── ...
belgpt2::Belgium:BelGPT-2
05-09
用法您可以将BelGPT-2与 如下： import torchfrom transformers import GPT2Tokenizer , GPT2LMHeadModel# Load pretrained model and tokenizermodel = GPT2LMHeadModel . from_pretrained ( "antoiloui/belgpt2" )...
text-classification:文本分类的目前测试效果较好的算法
05-10
在"**text-classification-master**"这个压缩包中，可能包含了一个关于文本分类的项目源码，用户可以从中学习如何实现Fasttext和BERT模型进行文本分类。通常，这样的代码库会包括数据预处理、模型构建、训练、评估和...
CogView: Mastering Text-to-Image Generation via Transformers
07-27
嗨！很高兴回答你的问题。CogView是一个基于Transformer的文本到图像生成模型，旨在通过学习文本描述来生成与之相符的图像。这个模型的目标是提供一种更高质量、更准确的文本到图像转换能力。 CogView通过使用自注意力机制来捕捉文本中的语义信息，并将其转化为图像生成过程中的上下文信息。这使得模型能够更好地理解文本描述，并生成与之相对应的图像。 此外，CogView还采用了条件生成的方法，通过将文本描述作为条件输入来引导图像生成过程。这种方式使得模型能够根据不同的文本描述生成多样化的图像结果。 通过使用大规模的训练数据集和高效的训练策略，CogView能够在图像生成任务上取得出色的性能。它在多个评估指标上超越了以往的模型，并且在生成细节、多样性和准确性方面表现出色。 希望这个回答对你有所帮助！如果你有任何其他问题，都可以继续问我。
评论 107
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值