这篇文章的重点在 “ 深度注意中心损失 ” 。
下面简要描述一下网络中下面分支的pipeline:
为输入的图像,经过CNN处理后,得到特征图
。下面的分支进行如下处理:pooling layer处理
后得到
,
是一个一维的特征向量,再将
经过一个全连接层计算后得到表情的概率分布,最后计算分类softmax loss,也就是
。
难点在于上面分支的理解,也就是sparse center loss如何计算。在介绍上面分支的pipeline之前,需要介绍一下什么叫中心损失。
中心损失的目标是:最小化 “ 深层特征 ” 与其 “ 对应的类中心” 之间的距离。举个例子,有一批batch size为m的样本,其中