在讲方法之前,作者提出了一个概念:给定一个样本,这个样本的标签是确定的,即
,但是有的样本本身表达的情绪就很模糊,标签其实是不太确定的,就跟下面这张图里的两个样本一样。所以作者提出了一种标签潜在分布
,这个
代表的是该样本被分成其他类别的概率分布。且
该网络结构包含以下几个部分:(1)C个挖掘潜在分布的辅助分枝,一个具有相同结构的目标分枝。(2)两两非确定性估计,其中不确定性估计模型由两个FC层组成。每个辅助分枝都充当C-1类的分类器去寻找样本x的潜在分布。
和
联合指导目标分枝,此外,还对这些分支进行正则化,通过它们的相似矩阵来预测图像的一致性关系。需要特别注意的是,所有辅助分支和不确定性估计模块最后都将被删除,只留下目标分支用于推理。因此,整个框架是端到端的,可以灵活地集成到现有的网络架构中,而无需额外的推理成本。
潜在标签挖掘
举个例子,假设表情被分成1,2ÿ