m0_47105444的博客

参照pytorch官网教程，了解了一下KL散度的调用方法，做个记录。https://pytorch.org/docs/stable/generated/torch.nn.KLDivLoss.html计算公式：而调用代码时torch.nn.KLDivLoss和F.kl_div是一样的，前者是一个类，在实现方法里调用了后者方法。To avoid underflow issues when computing this quantity, this lossexpects the argument

CoSENT的loss部分学习：以pytorch版本为例，里面写的很详细，虽然能看懂苏神写的loss原理，可是在刚开始看到loss的实现时看不懂，仔细研读才发现原来是这么回事，不得不佩服大佬们的代码能力太强了，自己是想不到，唉，劝退了一波。。这里作为自己学习的一个记录吧，有错误的地方欢迎指正。https://github.com/shawroad/CoSENT_Pytorchdef calc_loss(y_true, y_pred): # 1. 取出真实的标签 y_true = y