问题描述：
设计了一个损失函数，输入是一个在嵌入层输出的特征向量， s h a p e = ( b t z , d i m ) shape=(btz, dim) shape=(btz,dim)，在计算无监督损失的时候出现loss无穷大的情况，超出了浮点数的表示范围，直接导致 n a n nan nan值。一开始以为是损失函数写的有问题或者是学习率等设计的有问题，百度了一下说这是梯度爆炸，本来今天心情就很爆炸，现在写个程序还遇到梯度爆炸 ╥﹏╥…
解决
回去翻看官方给出的无监督对比学习的时候，发现在encoder后的多层感知机的输出有一个标准化，即对于一个 s h a p e = ( b t z , d i m ) shape=(btz, dim) shape=(btz,dim)的batch中的向量，每个向量应该标准化处理，否则不同尺度的向量经过矩阵乘积之后的值会非常大，相应的loss大的离谱就不奇怪了。
源代码
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
