用不同的损失函数训练神经网络初探

Similarity Learning and Loss Function

Similarity Learning也叫metric learning，是为了学习在原特征空间上的线性或非线性变换，使得在新的特征空间上相似度或者距离满足一定的性质。
深度学习在设计很多loss就用到了metric learning的想法。把最后一层特征空间作为新的度量空间，加入一些相应的loss，使得度量空间满足一定的性质。
下面我们用mnist数据集直观的感受一下loss函数学到的特征空间长啥样子。
github: https://github.com/RDShi/loss_function.git

cross entropy

从loss本身来看，希望学习到的空间是线性可分得，实验结果如下图

center loss

希望学习到的空间比较紧凑

triplet loss [1,2]

希望学习到的空间不同的类别之间有margin

te2e loss and ge2e loss [3,4]

希望学习到的空间不同的类别之间的余弦相似度大于内别内的余弦相似度，自己写结果有问题，感觉语音比较好搞，图片分类求平均之类的有点繁琐，以后再弄吧

---

[1]Schroff F, Kalenichenko D, Philbin J. FaceNet: A unified embedding for face recognition and clustering[J]. 2015:815-823.
[2]Li C, Ma X, Jiang B, et al. Deep Speaker: an End-to-End Neural Speaker Embedding System[J]. 2017.
[3]Heigold G, Moreno I, Bengio S, et al. End-to-End Text-Dependent Speaker Verification[J]. Computer Science, 2015:5115-5119.
[4]Wan L, Wang Q, Papir A, et al. Generalized End-to-End Loss for Speaker Verification[J]. 2018.