Wav2Vec & HuBert 自监督语音识别模型

已于 2023-01-17 15:52:01 修改
阅读量7.3k 收藏 38
点赞数 6
分类专栏： paper笔记 文章标签： 语音识别 人工智能 深度学习
于 2023-01-16 20:41:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40168949/article/details/128677418
版权

文章目录

对比

指标wav2vecwav2vec 2.0HuBert
mask方式没有mask encoder送给transformer的输入mask encoder送给transformer的输入
mask长度encoder上的若干连续step, step=10step=10step=10
改进点base引入量化改善量化的位置&kmeans迭代聚类
损失函数二值对比损失对比损失+多样性损失对比损失
量化无量化encoder的输出量化transformer的输出以及中间层

Wav2Vec: Unsupervised pre-training for speech recognition

  • Facebook AI
  • code
  • 2019 interspeech

abstract

  • 使用大量无标签数据做无监督预训练，学到语音的高维表征用于语音识别
  • 模型：多层CNN降采样得到z，文本编码器得到L，使用过去帧预测当前帧。
  • 结论：用pre-trained wav2vec的特征代替fbank-mel，labeled data越少，wav2vec相比baseline带来的提升就越多。

method

在这里插入图片描述
z = e n c o d e r n e t w o r k ( X ) z = encoder network (X) z=encodernetwork(X)
c = c o n t e x t n e t w o r k ( z i , . . . , z i − u ) c = context network(z_i, ..., z_{i-u}) c=contextnetwork(zi​,...,zi−u​)

  • 每个z编码了10ms的信息；context network输入多个z，感知野210ms；
  • 训练一个wav2vec large模型，context network的感知野更大，810ms；
  • 对样本在feature and temporal维度进行归一化，归一化的机制非常重要（对于输入的缩放和偏移是不变的），因而可以在更大的数据集良好泛化。
  • noise contrastive binary classification task。
    在这里插入图片描述
    在这里插入图片描述
  • z i + k z_{i+k} zi+k​是此后k step的特征，负例是从随机分布中采样的干扰（如果从其他序列或者其他说话人采负样，结果会变差）
  • 将得到的 c i c_i ci​代替原有的mel fbank输入识别网络。

wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations

abstract

  • 无标签数据通过自监督学习预训练ASR模型，然后少量数据finetune，可以超越当前最好的半监督模型。
  • LM的训练方法+对比学习：wav2vec 2.0 masks the speech input in the latent space and solves a contrastive task defined over a quantization of the latent representations which are jointly learned.
  • 量化编码

introduction

  • 在对比任务中，通过gumbel softmax学习discrete speech units，代表隐层特征，相比于非量化的特征更有效。
  • 预训练之后，使用标签数据+CTC Loss进行finetune，应用于下游的ASR任务。
  • 之前使用数据量化的方法一般分为两个阶段：数据量化，然后使用slf-attn建模语义信息。本文使用一种end2end的方式，实验证明达到更好的效果。而且在10min数据finetune，WER 4.8/8.2 ON clean/other test set of LibriSpeech

method

MODEL arch

在这里插入图片描述

  • Feature encoder：多层CNN，对waveform降采样，得到z；
  • Contextualized representations with Transformers：输入z，建模语义信息，输出c；
  • Quantization module：对z进行量化编码，使用Gumbel softmax优化码本训练；G个码本，每个码本有V条（多个码本分的更细，减少量化误差？）

损失函数

  • 损失函数分为两部分，对比损失+diversity loss
    在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

-   对比损失：	$z_t$mask掉，预测的$c_t$和量化的结果$q_t$计算距离；负样本$q^~}$来自干扰器（同一句话中其他masked step的正态采样）

在这里插入图片描述

- 多样性损失：训练码本量化过程。损失函数$L_d$，最大化概率分布

finetune

  • pre-train完成以后，把linear projection替换成softmax层，将 C C C进行分类，使用CTC Loss约束。参考了SpecAugment的实现，并在训练过程中添加time-step和channel的mask，显著延迟过拟合并提升准确率。

expriment

  • 训练数据：Librispeech 960h [24] or the Libri-Light 60k hours

HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Unit

abstract

  • 自监督学习训练ASR，可以达到wav2vec 2.0类似甚至更好的效果。
  • 自监督学习的缺点在于没有标签，有点也是。因为标签表明文本内容，说话人等，都是相对单一的，会限制模型的表征学习，而自监督学习不受其影响，因此可以获得更好的泛化特性。

intro

  • 自监督的语音表示学习有三个难点：（1）语音中存在多个unit；（2）训练的时候和NLP不同，没有离散的单词或字符输入；（3）每个unit都有不同的长度，且没有相应的标注。本文提出hidden-unit Bert，HuBert，通过聚类的方式提供标签。

method

在这里插入图片描述

  • X= CNN Encoder(wav)，降维
    在这里插入图片描述
    在这里插入图片描述

  • Z=Transformer(X)，时序建模，输入的X有一定比例 α \alpha α的mask, L u L_u Lu​表示unmasked部分

  • Z和聚类结果求loss

聚类

  • 聚类整合的方式：单个Kmeans聚类，会因为初始值或者k值的选择结果差别很大，为了避免这个问题，设置多个kmeans聚类。而且多个kmeans聚类可以学习到不同粒度的表征。也可以通过product quantization进行量化，多个不同的码本。
  • 训练过程中定义聚类：对learn latent representation离散化，然后在训练过程中更新聚类结果。

related work

  • HuBERT and DiscreteBERT：
    • 相同点：都预测masked region的discrete targets。
    • 不同点：（1）HuBERT输入的是原始语音，以传达尽可能多的信息，这一点很重；（2）而且实验证明HuBERT使用简单的kmeans达到比DiscreteBERT vq-vae更好的效果。（3）多个trick改善teacher的质量，但是DiscreteBERT只使用一个fixed teacher。
  • HuBERT and wav2vec 2.0
    • wav2vec 2.0使用对比损失，需要设计负样本的来源；Gumble-softmax用于多样性损失，需要设计temperature annealing schedule。而且wav2vec 2.0对encoder output进行量化，本文的消融实验证明这种量化方式会因为encoder 能力有限限制量化结果质量。
    • HuBERT离散化的结果更好。our proposed method adopts a more direct predictive loss by separating the acoustic unit discovery step from the masked prediction representation learning phase。
    • HuBERT将半监督学习中伪标签生成的方法扩展到自监督学习中，使用iterative refinement target label的方法。

experiment

  • 训练集合：LibriSpeech audio 960h，或者Libri-light 60k hours。（audiobooks reading by volunteers）
  • 测试集合：Libri-light 10-minute, 1-hour, 10- hour splits and LibriSpeech 100-hour

Unsupervised Unit Discovery

  • first iteration：39-d MFCC用kmeans(k=100）聚类；

  • subsequent iterations：kmeans=500，作用对象transformer的中间层。对960h小时数据抽样10%用于聚类（整体都聚耗费太大）
    在这里插入图片描述

  • scikit-learn实现的MiniBatchKMeans包，mini-batch size=10000frames，20个随机的starts for better init。

  • 比较不同数据类型&数据量下聚类结果，（方差越小，聚类结果越稳定）

林林宋
关注
专栏目录
中文语音预训练模型：Wav2vec 2.0、HuBERT
u013250861的博客
06-16 4364
腾讯游戏知几AI团队与西工大ASLP组联合发布了基于 WenetSpeech 1 万小时数据训练的中文版 Wav2vec 2.0 和 HuBERT 模型。Wav2vec 2.0 [1]，HuBERT [2] 和 WavLM [3] 等语音预训练模型，通过在多达上万小时的无标注语音数据（如 Libri-light ）上的自监督学习，显著提升了自动语音识别（Automatic Speech Recognition, ASR），语音合成（Text-to-speech, TTS）和语音转换（Voice Conver
【人工智能】Transformers之Pipeline（一）：音频分类（audio-classification）
人工智能领域博客
07-12 6149
本文对transformers之pipeline的音频分类（audio-classification）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的代码极简的进行音频分类推理，应用于音频情感识别、音乐曲风判断等业务场景。
探秘HuBERT：实现无缝语音转换的利器
gitblog_00020的博客
06-09 1059
探秘HuBERT：实现无缝语音转换的利器 hubertHuBERT content encoders for: A Comparison of Discrete and Soft Speech Units for Improved Voice Conversion项目地址:https://gitcode.com/gh_mirrors/hu/hubert 在语音处理领域，HuBERT（HarmoN...
语音预训练模型wav2vec（论文复现）
wei_shuo的博客
07-31 821
语音预训练模型wav2vec（论文复现）
【GPT-SOVITS-06】特征工程-HuBert原理
Fred's Note
03-17 3403
GPT-SOVITS 源码解析
wav2vec2
03-27
工作正在进行中 在常用语音德语上对wav2vec2进行微调。 一般注意事项和注意事项 我做了一些改动完善支持大型数据集（的de语言是资源密集型的）： 预处理和微调被分为单独的脚本prepare_dataset.py和run_finetuning.py 。 这里的重点是运行一次预处理，然后再进行较短的培训启动时间。 参数类将移至argument_classes.py 。 前处理 prepare_dataset.py处理所有预处理。 它将仅包含路径和标签的数据集保存为磁盘，作为拼花格式的箭头表 它加载，重新采样，处理并将音频文件保存到原始张量中，而不是HF数据集中。 它产生一个目录./resampled其中包含float32张量表示形式，以及重新采样和处理后的音频。 它将处理器保存到磁盘上，以便在训练脚本中重复使用（在脚本中不确定） 运行时间：约4小时32周上的螺纹（经由配置pr
wav2vec2.0: A Framework for Self-Supervised Learning of Speech Representations
pitaojun的博客
08-23 9082
1.wav2vec2.0: A Framework for Self-Supervised Learning of Speech Representations (1) 论文思路 基于vq2vec的思路，通过mask 在latent space 上的语音输入，训练一个contrastive task将真正的量化的latent变量表示与其他负例分辨出来（同时训练了量化过程的latent representation), 由此得到的representation， 基于少量的有标签数据fine-tuning就取得
语音识别预训练模型Hidden-Unit BERT (HuBERT)
zephyr_wang的博客
11-18 7239
语音识别预训练模型Hidden-Unit BERT (HuBERT)
HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units
weixin_45259560的博客
12-30 3286
HuBERT翻译
wav2vec--
qq_42563807的博客
02-07 6242
Wav2vec: Unsupervised Pre-training for Speech Recognition 该模型非完整的ASR，而是一个将wav通过标记的、未标记的数据，通过无监督的方式进行训练，得到可以送入ASR中的向量；以提升ASR的准确率； 当前用于语音识别的最新模型需要大量标记好的音频数据才能获得良好的性能。最近，在标注数据缺少的情况下，神经网络的预训练已经成为一种有效的技术。关键思想是先在有大量标记或未标记数据中进行general的训练，再在数据量受限的目标数据上fine-tune来提高
wav2vec2-finetune:wav2vec2-large-xlsr-旁遮普语
04-02
wav2vec2-finetune 尼泊尔文： ： 旁遮普语： ：
wav2vec2_docker:为Sagemaker预训练wav2vec docker
03-25
Wav2Vec2.0预培训Docker 为Sagemaker预训练wav2vec docker。 编写此docker的前提是它将由aws sagemaker运行。 所需资源 需要使用您自己的语言的未标记数据（无转录的音频）。 大量未标记的音频（例如500小时）将大大减少所需的标记数据量，并提高模型性能。 Youtube / Podcast是收集您自己语言的数据的好地方。 准备其中装有音频数据的s3存储桶。 安装说明 您可以检查pretrain.ipynb 。 Wandb设定 在Dockerfile的第72行中设置Dockerfile 。 和集wandb项目名称wandb_project在wav2vec2_base_librispeech.yaml 将Docker上传到您的ECS 在上传docker之前，您必须设置aws cli。 请在此处检查： : 安装aws cli后，请运行
embeddings_generator:这是我的小wave2vec嵌入生成器。 享受
04-07
embeddings_generator 这是我的小wave2vec嵌入生成器。 享受
动手训练粤语语音识别模型
最新发布
08-09 216
在最后一步，我们定义了与训练相关的所有参数。在这里，我们将训练步数设置为100。这足够多的步数，可以与预训练的Whisper模型相比看到很大的词错误率（WER）改进。更多参数说明，参阅：https://huggingface.co/docs/transformers/main_classes/trainer#transformers.Seq2SeqTrainingArgumentsoutput_dir="./whisper-tiny-zh-HK", # 模型上传到HF Hub的名称。
语音识别与语音合成:大型语言模型在语音领域的实践
程序员光剑
05-04 577
1. 背景介绍 语音识别和语音合成技术作为人机交互的重要组成部分，近年来取得了长足的发展。传统的语音识别和合成系统依赖于复杂的声学模型和语言模型，需要大量的训练数据和专业知识。然而，随着深度学习的兴起，大型语言模型（LLMs）展现出在语音领域应用的巨大潜力。LLMs强大的语言理解和生成能力，为语音识别和合成带来了新的突破。
声纹识别：自监督学习语音识别利于声纹识别Why does Self-Supervised Learning for Speech Recognition Benefit Speaker Recogni
低调奋进
04-28 1803
声明：平时看些文章做些笔记分享出来，文章中难免存在错误的地方，还望大家海涵。搜集一些资料，方便查阅学习：http://yqli.tech/page/speech.html。语音合成领域论文列表请访问http://yqli.tech/page/tts_paper.html，语音识别领域论文统计请访问http://yqli.tech/page/asr_paper.html。开源语音数据查询http://yqli.tech/page/data.html。如何查找语音资料请参考文章https://mp.weixi.
⌈ 传知代码 ⌋ 语音预训练模型wav2vec
Dream_Y.ocean的博客
05-31 1038
论文：wav2vec: Unsupervised Pre-training for Speech RecognitionWav2Vec（Waveform-to-Vector）是一种在语音处理领域中具有重要意义的技术。它的由来可以追溯到Facebook AI Research（FAIR）在2019年提出的一篇论文，旨在解决语音识别中的数据标记问题。传统的语音识别系统通常需要大量标记好的语音数据进行训练，但这一过程非常耗时且昂贵。
WAV2VEC:针对语音识别的无监督预训练
DataBaker的博客
08-23 2909
WAV2VEC: UNSUPERVISED PRE-TRAINING FOR SPEECH RECOGNITION 概要 本文使用大量的无标签数据集去预训练wav2vec模型，从而提升声学模型效果。本文训练的模型在性能上超越了Deep Speech 2，在nov92测试集上，WER达到了2.43%。 1 简介 预训练在深度学习算法中是一个很常用的方法，主要作用是能提升模型性能，即使是在当前带标签数据集的很少的情况下。主要方法是通过大量的无标签数据或者有标签的其他数据集对模型进行训练，可以使模型学习到通用的特
【语音算法】wav2vec系列原理和使用
热门推荐
tobefans的博客
06-25 2万+
wav2vec系列工作由facebook AI Research团队提出，包括wav2vec、vq-wav2vec、wav2vec2.0，效仿nlp上的word2vec，是语音的一种通用特征提取器。本文重点讲解wav2vec2.0模型及其使用方法。
Wav2Vec2实现中文语音转文字
05-28
要使用Wav2Vec2实现中文语音转文字，可以按照以下步骤进行： 1. 安装transformers库和pyaudio库。可以使用pip进行安装： ``` pip install transformers pip install pyaudio ``` 2. 加载Wav2Vec2模型。可以使用transformers库中的`Wav2Vec2ForCTC.from_pretrained()`方法来加载预训练模型。需要指定模型的名称或路径，以及模型的配置文件。 ``` from transformers import Wav2Vec2ForCTC, Wav2Vec2Tokenizer model_name = "jonatasgrosman/wav2vec2-large-xlsr-53-chinese-zh-cn" tokenizer = Wav2Vec2Tokenizer.from_pretrained(model_name) model = Wav2Vec2ForCTC.from_pretrained(model_name) ``` 3. 读取录音文件并进行预处理。可以使用pyaudio库读取录音文件，并使用Wav2Vec2Tokenizer对语音信号进行预处理，将其转换成模型可以接受的特征向量。 ``` import pyaudio import numpy as np CHUNK = 1024 FORMAT = pyaudio.paInt16 CHANNELS = 1 RATE = 16000 RECORD_SECONDS = 5 p = pyaudio.PyAudio() stream = p.open(format=FORMAT, channels=CHANNELS, rate=RATE, input=True, frames_per_buffer=CHUNK) frames = [] print("开始录音，请讲话...") for i in range(0, int(RATE / CHUNK * RECORD_SECONDS)): data = stream.read(CHUNK) frames.append(data) print("录音结束！") stream.stop_stream() stream.close() p.terminate() audio = np.frombuffer(b''.join(frames), dtype=np.int16) input_values = tokenizer(audio, return_tensors='pt').input_values ``` 4. 使用Wav2Vec2模型进行推理。可以将预处理后的特征向量输入到模型中进行推理，并使用Wav2Vec2Tokenizer将输出转换成文本。 ``` with torch.no_grad(): logits = model(input_values).logits predicted_ids = torch.argmax(logits, dim=-1) transcription = tokenizer.batch_decode(predicted_ids)[0] print("语音转文字结果：", transcription) ``` 通过上述步骤，就可以使用Wav2Vec2实现中文语音转文字了。需要注意的是，Wav2Vec2模型对输入的语音信号有一定的要求，例如采样率必须为16kHz，单声道等。如果输入的语音信号不符合要求，可能会影响模型的识别效果。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值