提出MSML多尺度度量学习方法,用于提取多尺度特征。使得同类样本更接近,异类样本更分离。故提出了类内和类间两种损失函数。
度量学习分为 特征提取和样本间距离关系 两种。
贡献:1、提出了新的多尺度度量学习方法
2、该模型中引入了特征金字塔结构,结合了高层语义特征和低层视觉特征
3、提出多尺度关系生成网络,多尺度特征map用于生成样本之间的关系
4、提出新的损失函数,称为类内和类间关系损失
特征编码器可以提取三种不同尺度的特征,可获得多尺度特征图。多尺度特征组合模型将从支持集和查询集提取的多尺度特征图组合成多尺度特征图对。
多尺度度量学习模型由三部分组成,特征编码器 + 多尺度特征映射联合
多尺度特征映射联合模块:
对于C-way K-shot模型而言,将同类中的k个样本进行加权平均,得到一个平均样本,即把k shot转化为1 shot模型。本来有(CxK)x(CxN)对特征映射,最终转换为(Cx1)x(CxN)=Cx(CxN)个特征对,作为下一个关系生成网络的输入。
多尺度特征映射联合模块:
对于C-way K-shot模型而言,将同类中的k个样本进行加权平均,得到一个平均样本,即把k shot转化为1 shot模型。本来有(CxK)x(CxN)对特征映射,最终转换为(Cx1)x(CxN)=Cx(CxN)个特征对,作为下一个关系生成网络的输入。
多尺度关系生成网络:
尺度越