接触对比学习的时候,看到了NCE loss,怕这个博客消失,所以自己特意过来记录。
参考链接:softmax的近似之NCE详解 — carlos9310深度学习中与分类相关的问题都会涉及到softmax的计算。当目标类别较少时,直接用标准的softmax公式进行计算没问题,当目标类别特别多时,则需采用估算近似的方法简化softmax中归一化的计算。https://carlos9310.github.io/2019/10/15/Approximating-the-Softmax/#softmax-regression
GitHub - MachineCF/Pytorch-NCE: The Noise Contrastive Estimation for softmax output written in Pytorch
求通俗易懂解释下nce loss? - 知乎
深度学习中与分类相关的问题都会涉及到softmax的计算。当目标类别较少时,直接用标准的softmax公式进行计算没问题,当目标类别特别多时,则需采用估算近似的方法简化softmax中归一化的计算。
以自然语言中的语言模型为例,从理论到实践详解基于采样的softmax的近似方法NCE。
理论回顾
逻辑回归和softmax回归是两个基础的分类模型,它们都属于线性模型。前者主要处理二分类问题,后者主要处理多分类问题。事实上softmax回归是逻辑回归的一般形式。
Logistic Regression
逻辑回归的模型(函数/假设)为:
Softmax Regression