pytorch 12 支持任意维度数据的梯度平衡机制GHM Loss的实现（支持ignore_index、class_weight，支持反向传播训练，支持多分类）

梯度平衡机制GHM(Gradient Harmonized Mechanism) Loss是Focal loss的升级版，源自论文Gradient Harmonized Single-stage Detector。Focal loss针对难易样本的不平衡而设计，通过调节系数可以缩小易样本在loss中的比例，使得难样本的loss权重变大。但是并非所有的难样本都是值得关注的，GHM Loss对梯度进行直方图统计，统计情况如图1所示。按照一定范围计算频率，将loss值与梯度模长频率的倒数相乘。这样子可以使容易样本（数量多，梯度值小）的梯度值变小，让错误样本（数量略多，梯度值大）的梯度值略微下降。总体来说GHM Loss具有三大作用：1）可以降低易样本在训练中的权重，2）可以提升难样本在训练中的权重，3）可以避免错误样本对于模型训练过程中的误导。

图1 GHM下的梯度模长分布假设

下面将从0开始实行GHM loss，最终完成支持ignore_index、class_weight等参数设置，支持多分类，支持任意维度数据（图像分类，语义分割&#x