语音与影像上的自督导式学习模型、一些老版本的补充（李宏毅2022

2022 - 语音与影像上的神奇自督导式学习模型_哔哩哔哩_bilibili

self-supervised learning for speech and image

 

 如果要训练一个好的语音辨识的模型，没用self supervised 技术，直接训练一个end-to-end的model，通常要上万个小时的声音讯号（labeled），

但是今天有了语音版的bert，很多人想挑战只用10min的资料训练语音辨识的模型，

微调语音版的bert往往不必要， 往往固定住语音版的bert，只微调downstream model就可以得到不错的结果了。

ASR语音辨识、 keyword spotting 唤醒词、

semantic语义理解、直接从声音的讯号的内容理解语义，e.g.语音翻译  听中文输出英文文字，

 

 专门讲这些self supervised learning的model，在super这个benchmark上面有什么样的表现，那总之结果非常的惊人哦，语音的self supervised learning是一个很有潜力的研究方向，这些self supervised model几乎可以说是十项全能，

SUPERB   benchmark       https://youtu.be/MpsVE60iRLM

toolkit- S3PRL:  https://github.com/s3prl/s3prl

self supervised的model用在各式各样不同的任务上，怎么用其实没有那么容易，toolkit可以帮助你

视觉导航（Visual Navigation）是机器人领域非常重要的一个研究方向，机器人需要有理解房间物件摆设的能力，

这两篇文章讲了self supervised learning在影像上有哪些应用

 影像的community里有非常大量的有标注的资料库，比如image net，

 怎么训练语音版的bert和影像版的bert，五大类方法

1. generative approaches  

把文字上已经非常成功的bert系列和GPT系列，拿来语音和影像上用用看，

给一段声音讯号，把其中的某些部分盖起来，比如说值全部替换为0，

语音版bert里有个很具代表性的模型：Mockingjay(学舌鸟)

bert里面会盖住15%的词汇

 针对语音的特性做一些设计：

• 声音讯号 相邻的向量 往往内容会非常接近

masking这个技术用在语音上，要一次mask一长串的feature，不要一次指mask一个feature，太容易被机器学到，那至于要多长牌，就是一个参数也是需要调一下的

那其实在文字上也有类似的概念、后来很多bert的变形、都是说你不要指mask一个token、因为这样 往往非常容易被bird的model猜到mask是什么、比如说一次mask一个片语、这样机器才能够学到比较多东西

• 在语音上  可以做一个不一样的尝试、可以不是在时间的方向上做mask、可以一次mask这些向量的某几个dimension，经验表明，这种mask的方式会让机器比较容易学到语者的资讯

 如果你只叫机器给一段声音讯号，预测接下来会产生的讯号太~简单了，因为相邻的向量 往往内容会非常接近

所以 通常你不是叫他预测下一个向量、你会叫它预测 接下来某一段时间之后的向量，比如说叫它预测接下来的第三个向量，根据文献的结果，通常你这个n要设>=3才会有比较好的结果

语音版的GPT一个具代表性的模型：Auto regressive predictive coding（APC）

把这一套generative的方法用在语音跟影像上 ，相较于文字有一个比较大的问题是：语音和影像包含了非常多的细节，所以你要模型去把声音讯号、影像完整的还原出来、往往是非常困难的

有没有其他解法，比如，除了让机器还原影像跟声音讯号之外、能不能还原或预测一些别的东西，同样达到sal supervised learning的效果呢

 2. predictive approach

在影像上一个比较早期的做法：

  那其实在影像上、这种制造简单的任务、让机器去解、借此来学到一些东西的方法 有各式各样，论文数不胜数

contact prediction就是给一张比较大的图片、然后把比较大的图片里面的两个小块切出来、让你 去判断两块image相对的位置、通常有八种选择

其实在声音讯号上 也可以做类似的事，就是从同一句话里面切两段出来, 机器要学的事情就是判断这两段声音讯号,他们相距几秒，

所以呃除了让机器去还原声音讯号还原影像之外，你也可以设计一些小游戏让机器来玩，希望他透过学会这些简单的任务，之后叫它做复杂的任务就可以做的更好。

问题：什么样的小游戏可以激发机器的潜能

没有特别好的答案，需要对声音讯号和影像有一些domain knowledge、对他们的特性有更深入的理解

但是也有一些比较general的方法，让机器不做生成、也可以做self supervised learning，

你把原来要生成复杂的东西简化、把它改成生成比较简单的东西

我们把这些声音讯号做一下clustering，比如说你对这些向量呢跑一下K-means，把它们做离散化。所以他们从本来很复杂的向量，每个向量就变成一个token

HuBERT用的是K-means （+bootstrapping approaches ），BEST-RQ蛮神奇的  它这边是用一个random projection。那这样看起来这个clustering 的algorithm 呢,可能对performance没有特别重要,只要有clustering结构就好了。

 

 有没有办法在不产生东西的情况下，就做self supervised learning呢

3.contrastive learning

 

怎么做data augmentation会变成是这整个方法能不能够成功的关键，就是你的augmentation既不能太难也不能太简单，那怎么控制augmentation的难度变成是一个问题

在原始SimCLR的paper里，他尝试了各式各样不同的augmentation的组合，告诉你说怎么做augmentation是最好的。random cropping看起来是最有效的、各种不同的augmentation组合，通常random cropping是不可或缺的一个方法，

先有MoCo，才有的SimCLR。MoCo多了一个memory bank，还多了一个momentum decoder

 后来MoCo吸收了SimCLR的一些优点，有了MoCo v2