Wav2vec2 论文阅读看到的一些问题
这里只是简单的思考一下论文的一些问题，不是论文解读。
Q1. 为什么wav2vec依旧需要Transformer来做推理，而不直接使用VQ生成的内容？
A1. Transformer在更长的序列上有更好的编码效果，例如论文也写Contextualized representations with Transformers。另一个因素在于对比学习本质上是区分相似性，让正样本之间更接近，让正负样本之间更远离，而不是类似CE的完全逼近。参考损失函数：
−
l
o
g
e
x
p
(
s
i
m
(
c
t
,
q
t
)
/
κ
)
∑
q
∼
Q
t
^
e
x
p
(
s
i
m
(
c
t
,
q
^
)
/
κ
)
-log \frac{exp(sim(\textbf{c}_t, \textbf{q}_t) / \kappa)}{\sum_{\hat{\textbf{q} \sim \textbf{Q}_t} exp(sim (\textbf{c}_t, \hat{\textbf{q}})/ \kappa)}}
−log∑q∼Qt^exp(sim(ct,q^)/κ)exp(sim(ct,qt)/κ)
Q2. VQ是怎么训练的？
A2. 是联合训练的，在训练早期CodeBook是随机初始化。这个一点和HuBERT有一点不太一样，后者是提前预训练。
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
