Calibration方法——Matrix scaling

本文内容部分来源于论文on calibration of modern neural networks 

论文地址：https://arxiv.org/pdf/1706.04599.pdf

Calibration这个领域可以说比较小众，自己也是读一篇文章才碰到这个概念。文章中作者使用了matrix scaling进行calibration，不仅降低了ece，同时分类acc也增加了1%。但是网上搜了一圈都没有找到代码，所以就自己实现了一下，分享出来。

关于caliberation这里给出一篇写的比较好的文章，不熟悉的同学可以去阅读一下

Calibration: 一个工业价值极大，学术界却鲜有研究的问题！

1. 什么是Matrix scaling

论文中给出的公式如下

W和b是我们要求解的parameters，W的shape为num_classes*num_classes，b就是一个bias

z是输入softmax的logits，也就是分类网络最后一层的输出。