特征多样性学习

1 Hierarchical Pyramid Diverse Attention Networks for Face Recognition
从多尺度，多样性，以及多特征如何进行融合三个角度进行的行文。多尺度中是在网络的不同layer提取特征，并且利用了注意力机制；多样化是是指对注意力机制中的不同mask进行了差异性学习，这里的学习要注意的一点是，就是将不同的mask拉到一定的距离就完事了，没有无止境地拉，这是为什么呢，为什么不尽量拉的越来越远呢，这和triplet loss中的margin就有点类似了，这是一个疑问点。最后用双线性池化对不同尺寸的特征进行融合。

2 Regularizing Deep Neural Networks by Enhancing Diversity in Feature Extraction
文章的着眼点在消除提取特征中的相似性特征，直接在网络的每一层的参数上做了限制，让参数之间的相似性降低。在这里面涉及了如何保证两个向量的相似性的探讨，不能让他们完全正交，因为肯定存在公共特征上的相似性。