semi-triplet loss在线难分样本选取深入理解

> 前言：在做REID任务的时候经常会用到triplet loss，后续我们常常会进行模型的优化，其中就包括难分数据的挖掘，也就是让模型更加关注难分样本。

两种方式去实现：

1、离线的方式，就是在挑选样本的时候进行，一种是在线的方式，其本质上就是在训练的时候进行难分样本的挑选，离线的方式更好实现一些，但是造成的后果就是不方便，每一个epoch结束时就要单独就行计算

2、在线的方式直接就在训练的过程中就进行处理了，所以现在大家都更青睐在线的训练方式

在线难分样本选取过程理解

使用trilet loss进行模型的搭建和数据的组织很好理解，和普通的分类网络没有任何的区别，就是定义好loss ，传入每个batch的数据即可

但是在你理解 semi-triplet loss的时候需要注意的，这时候传入的也是一个batch的数据，但是最终loss的计算不是考虑到batch中所有的数据，也就是说只有部分的难分数据参与了loss的计算，这也比较好解释，我们在组织batch的时候没有挑样本，也就是说没有刻意挑选难分样本形成batch，那么只能通过loss的定义来挑选了，可以达到一样的效果，即模型在训练的时候更加关注难分样本，只有模型对难分样本的区别能力增强了，loss才会下降，因而模型会朝着loss下降的地方更新梯度，也就是说更新后的梯度参数对难分样本的更为适应（区分能力更强），这就达到我们的目的，更加关注难分样本

所以通过上述的理解，我们可以认为在难分样本的挑选上，有两个地方可以做文章，一是在输入阶段，挑选难分的输入，二是在Loss定义方面，在损失函数中我们可以通过某种方式继续宁难分样本的在线选取。**