对比学习(Contrastive Learning)中的损失函数
文章目录写在前面一、Info Noise-contrastive estimation(Info NCE)1.1 描述1.2 实现二、HCL2.1 描述2.2 实现三、文字解释四、代码解释4.1 Info NCE4.2 HCL写在前面 最近在基于对比学习做实验,github有许多实现,虽然直接套用即可,但是细看之下,损失函数部分甚是疑惑,故学习并记录于此。关于对比学习的内容网络上已经有很多内容了,因此不再赘述。本文重在对InfoNCE的两种实现方式的记录。一、Info Noise-contrasti
原创
2021-02-16 14:30:20 ·
41271 阅读 ·
17 评论