谷歌提出了两种损失函数TE2E(Tuple-based end-to-end)、GE2E(Generalized end-to-end).今天对这两种进行记录。
一、TE2E
-
在训练中分为2个阶段:登记和检验。每步训练中数据包含 x j ∼ x_{j∼} xj∼和M个登记会话 x k m x_{km} xkm(for m = 1…M), 可以用 { x j , ( e k 1 , e k 2 . . . e k M ) x_{j~},(e_{k1},e_{k2}...e_{kM}) xj ,(ek1,ek2...ekM)}表示,可以被喂入LSTM网络中,其中X表示特征, j,k表示说话者,j与k可能相等也可能不相等。
积极者: 如果 x j ∼ x_{j∼} xj∼和M个会话的说话者是同一个人时;
消极者: 如果 x j ∼ x_{j∼} xj∼和M个会话的说话者不是是同一个人时; -
L2正则化
将 { x j ∼ , ( e k 1 , e k 2 . . . e k M ) x_{j∼},(e_{k1},e_{k2}...e_{kM}) xj∼,(ek1,ek2...ekM)} 正则化后,用e为向量,表示正则化后的向量{ e j ∼ , ( e k 1 , e k 2 , . . . e k M e_{j∼},(e_{k1},e_{k2},...e_{kM} ej∼,(e