Learning Attribute Representations with Localization for Flexible Fashion Search

整体结构

FSN的整体结构：前面是AlexNet的结构，将AlexNetd的两个全连接层换为卷积层conv6,conv7，并进行GAP操作，最后接入A个全连接层进行attribute的分类。使用attribute cls的loss进行训练，使得网络能够利用AAM产生不需要监督信息的ROI，使用ROI提取对应的conv5输出的特征图，并送入相应的全连接层组成的分支，共有A个，对应A个可能的attribute。最后A个分支生成的A*1024维度的输出通过最后一个全连接层进行组合。

AAM：Attribute activation map:

对于特征图做GAP的公式为：$$x(k)=\sum _{i,j}conv{7}_k(i,j)$$即对第k个特征图在所有元素上求和，如果共有K个特征图则生成了K维的向量，将K个向量送入A个全连接层用于attribute的分类预测，有$$L_c=-\sum _{I=1}^N\sum _{a=1}^{A}log(p(g_{I_a}|x_I{w}_a))$$其中$g_{I_a}$是第a个attribute的Ground truth，$x_I{w}_a$是全连接层输出的结果，由此可以定义属性对应的特征激活图：$$M{a}_c(i,j)=\sum _k{w}_{a}conv{7}_k(i,j)$$其中$w_a$是与属性a对应的全连接层的权重，维度为k，即对每个属性a中的类别$c_i$都可以生成对应的特征激活图。在特征激活图中像素值高于最大值20%的被分割出来并用于bbox。

Ranking with triplet of regions

作者用上面的图展示了ROI的好处：在领子的属性上Anchor更接近于pos，但如果直接将整张图片送入网络，由于颜色的相似，很有可能会认为neg更接近于anchor，加入ROI后，去掉了不相关的袖子等，会使得网络能够更好的分辨不同的领口特征。
作者采用了改进后的Triplet loss，使用的是与softmax相似的思路：$$d^{+}(h(I\widehat{)},h(I^{+}),h(I^{-}))=\frac{exp(d(h(\hat{I})-h(I^{+}))}{exp(d(h(\hat{I})-h(I^{+}))+exp(d(h(\hat{I})-h(I^{-}))}$$$$L_T=\sum _{I=I}^N\sum _{a=1}^A{d}^{+}(f{c}_{10}(I\widehat{)},f{c}_{10}(I^{+}),f{c}_{10}(I^{-})$$

Attribute manipulation

有了如上的结构，进行attribute manipulation就非常直接了：在训练过程中将有相同attribute value的图片提取特征并取平均，在进行am的时候直接将不需要的特征进行替换（与AMNet的思路相同）

Learning Global representation

经过$f{c}_{10}$后可以得到对应每个属性的1024D特征，为了减少最终输出的尺度，使用F进行压缩$$F(I,a^{\ast })=[f{c}_{10_1}(I){\lambda }_{1,a^{\ast }},.....f{c}_{10_A}(I){\lambda }_{a,a^{\ast }}]w_{a^{\ast }}$$由此得到全局的ranking loss：$$L_G=\sum _{I=1}^n\sum _{a^{\ast }=1}^{A+1}{d}^{+}(F(\hat{I},a^{\ast }),F(I^{+},a^{\ast }),F(I^{-},a^{\ast })$$其中$\hat{I}$与$I^{+}$的关系是在经过$a^{\ast }$的操作后有相同的attribute。

FashionSearchNet with region awareness

作者提出了局部属性的变更，即对于某个特定的属性，可以定义其所属的特定区域，然后对区域的颜色等属性进行变更。

result