摘要
本文使用纯 Python 和 PyTorch 对比实现多标签softmax + cross-entropy交叉熵损失函数及其反向传播.
相关
原理和详细解释, 请参考文章 :
多标签softmax + cross-entropy交叉熵损失函数详解及反向传播中的梯度求导
系列文章索引 :
https://blog.csdn.net/oBrightLamp/article/details/85067981
正文
import torch
import numpy as np
class SolfmaxEntropyLoss:
def __init__(self):
self.nx = None
self.ny = None
self.softmax = None
self.entropy = None
self.loss = None
self.dnx = None
def __call__(self, nx, ny):
self.nx = nx
self