2021-09-18

最新推荐文章于 2024-09-26 18:53:39 发布

大烤翅

最新推荐文章于 2024-09-26 18:53:39 发布

阅读量117

点赞数

分类专栏：论文笔记文章标签：神经网络概率论深度学习

本文链接：https://blog.csdn.net/weixin_39627422/article/details/120362275

版权

论文笔记专栏收录该内容

21 篇文章 3 订阅

订阅专栏

4.3 量化评估 Quantitative Evaluation

在上表中，我们通过和一些baseline对比，评估了我们的时空先验对于图像分类表现的改善效果。我们发现，在baseline的基础上为最近邻的输出添加一个先验能够提高他们的表现。在训练集中没有对象出现在测试集的位置上时，可以增加鲁棒性。这种统一的先验知识的缺少解释了[55]中基于最近邻的方法的较差结果。和Tang等人的方法[55]对比，我们联合训练一个线性层来嵌入原始位置信息，同时输出层将位置嵌入与图像分类器最后一个线性层的特征相结合。图像分类器的其余权重不会更新。对于每个baseline算法，我们在为每个数据集保留的验证集上选择它们的超参数（例如，邻居的数量）。当位置信息在测试时不可获得时，我们假设在类别上有一个统一的先验。

我们的模型比所有数据集的baseline执行得更好。我们的方法的优点是，测试时的计算效率很高，而且在训练时不需要来自图像分类器的特征。与基于最近邻的方法相比，它只需要通过一个紧密的全连接神经网络的前向传播。此外，它也能够捕获一些结构性信息，例如对象和摄影师偏好。值得注意的一个失败案例是YFCC的结果。我们观察到，所有的方法在不使用位置信息（无先验）时的表现是相似的。这可以通过数据集中存在的对象类别中相对缺乏时空结构来解释。同样，这与[55]中的发现是一致的，在[55]中，作者不得不使用额外的功能来提高性能。

4.3.1 Ablation Study

在上表中，我们比较了我们的模型在iNat2017和iNat2018上的不同变体的性能。同样，与之前的基线标准相比，所有指标的性能都有很大提高。在某些情况下，我们甚至观察到，当我们明确地建模摄影师的偏好时，性能会有额外的提升。

使用大量的输入图像来训练细粒度图像分类器可以显著地提升分类表现。我们观察到，我们的时空先验的好处，在使用一个在大量图像上训练更久的更强大的分类器上甚至更加明显。当我们使用更宽松的评估指标（即前5名和前1名的准确度）来评估表现时，准确度也会增加。这一点非常重要，因为它强调了对于某些数据集，时空先验提供的性能提升与基础图像分类器的改进是正交的。

4.4 量化评估 Quantitative Evaluation

我们的模型捕捉对象，位置和摄影师之间的关系。下图中，我们可以看到在iNat2018上训练的我们的模型的每个输入位置的嵌入结果。通过对每个位置使用嵌入函数 $f()$ ，我们可以生成它的D维嵌入向量。接下来，我们使用ICA来将嵌入特征投影到一个三维空间，以便于可视化。可能像期望的那样，在结果图像中有着低频结构，即相近的位置倾向于支持相似的对象。我们的方法的一个优点是，我们不局限于固定的离散化。因此，我们可以为任何位置和时间生成嵌入。

下图我们将学习的对象嵌入 $O$ 做了可视化。具有相似时空分布的对象倾向于获得相似的嵌入向量。

与其它的工作不同，我们的先验也对摄影师和位置、摄影师和对象类之间的关系进行了建模。在Fig3(b)中，我们为每个输入的位置和所有的摄影师进行了密切度估计，即 $\sum_{p}^{}s(f(x)P_{:,p})$ 。我们只展示了在iNat2018数据集中，提供了至少100次观测的634位摄影师的结果。在下图中，我们显示了一组摄影师的每个对象类别的估计紧密程度，即 $P(y \mid p)\propto s(O^{T}P)$ 。我们观察到，嵌入捕获了不同摄影师在对象紧密度方面的相似性。

图5：摄影师对象紧密度。在左图中，我们看到一个iNat2018摄影师嵌入 $P$ 的t-SNE点图。右侧的三张点图表示三个不同的摄影师（A,B和C）在图4中的类别嵌入的预测紧密程度的可视化。更亮的颜色表示给定类别的更高紧密度。我们观察到，和摄影师嵌入空间 $P$ 接近的（例如A,B）比那些更远的具有更相似的类别紧密度（例如C）。

最后，在图6中，我们使用我们的先验，为iNat2018中的几个不同物种生成时空预测。每张图片通过查询地球表面上的每个位置，某年中特定的一天，来为感兴趣的类别生成 $P(y=y^{*} \mid x)$ 。在实践中，我们为每个时间点（例如每月的第一天）评估1000×2000个空间位置。这一步非常有效，因为我们可以为每个位置预先计算 $f(x)$ ，与感兴趣的类别无关。同样，为了可视化，我们掩盖了海洋上空的预测。

图6：时空预测。在三个不同的时间点，用我们在iNat2018上训练的整个模型，对一些对象类别进行分布预测。更深的颜色表示类别在这个位置被预测到存在。在前两行，我们观察到我们的模型捕获了季节性的迁移行为。在最下面一行，我们的模型正确地预测了Western Honey Bee可以在几个不同的大洲被发现。值得注意的是，结果受到iNat2018数据集中地理抽样偏差的影响。

4.5 局限性 Limitations

我们受到给定的位置数据的质量的局限。例如，它可能不准确或故意混淆。我们还对摄影师对单个对象类别的affinity做出了强有力的假设。实际上，这些相互作用可能是复杂的，即一位摄影师曾经捕捉到某个类别的图像，那么在不久的将来，这位摄影师再拍摄同一对象的图像的可能性就会不那么大。在我们使用的公民科学家的数据中，也存在已知的空间偏差。然而，这并不会成为主要的问题，因为我们可以假定测试位置和日期的分布也有类似的偏差。目前我们在训练中只使用位置、时间和摄影师ID。在实践中，环境变量等附加数据可能是特定对象类别的有价值的信号。

5 结论 Conclusion

我们引入了时空先验来帮助消除细粒度类别的歧义，从而提高了测试时图像分类性能。为了帮助图像分类，我们的模型也自然地以可解释的方式，捕捉了位置和对象、对象和对象、摄影师和对象、摄影师和位置之间的关系。重要的是，我们的先验知识在测试时是高效的，无论是在模型大小和推理速度方面，还是在扩展到大量类别方面。