阅读小结Deep Metric Learning via Lifted Structured Feature Embedding

原创 2016年07月10日 22:31:16

原作者的github code:https://github.com/rksltnl/Deep-Metric-Learning-CVPR16

What:

这是一篇讲图像retrieval的工作,其实也可以用运用于细力度(finegrain)的分类问题。也就是通过一张图片去搜索相关图片。比较直观的问题在于图像的传统问题

-类内差异 (比如同一物体在不同pose下的照片,可能一点都不像) -类间相似(比如不同物体在同一pose下的照片,反倒是很像)

然后比较diao的地方是,zero-shot learning没有学习过,直接test(和以前我们常用的vgg模型提取特征的感觉一样,先在一个大数据集上统计学习了一下,随后应用到了新问题上的感觉)


Motivation:

1.传统的分类算法克服不了 多分类(由于模型复杂度和分类数量相关,会过于复杂)和数据bias(比如某一类数据特别少的问题)

2.metric learning可以克服第二个问题,因为学到的是每一类的general concept,所以数据少也能学。

3.deeplearning可以克服第一个问题。但deeplearning在类内差异做的比较好,类间相似不能take full advantage(其实softmax loss有类间差异,因为分母有所有的类)

4.提出的算法lift每个batch中的差异从O(m)到O(m^2),设计了一个新的loss目标。

在摘要中写到:

In this paper, we describe analgorithm for taking full advantage of the training batchesin the neural network trainingby lifting the vector of pair-wise distances within the batch to the matrix of pairwisedistances.  

说到底就是要更discriminative!


Review:首先我们回顾一下几个东西:

1.contrast embeding

作者给出了一个公式:input是一对数据xi和xj


y是这一对的groundtruth,比方说xi,xj是不是同一类,那么y就对应的是0或者1.

f()是xi和xj的运算(比如把x输入神经网络,取出fc层的结果,这么一个函数)

D是f(xi)和f(xj)的欧式距离。那么优化这个loss,min(J),当xi和xj是同一类的时候,yij是1,那么Dij应该越小越好;如果不是同一类,yij是0,Dij应该约大越好。


2.triplet loss


这次输入为三元组{xa,xp,xn}

xa和xp是同一类,和xn不同类。所以Dap应该越小越好,Dan越大越好。所以也是优化min(J)


然后下面是一张有趣的图,说明了作者Lift与前两种的不同。(前两种loss在刻画关系上是不足的)




对应的Loss如下:




先看下面的公式:

后一项为数据i,j之间的距离,

前一项为数据i最难区分的k和数据j最难区分的数据l的距离中较大者。。(比较绕,但看公式比较容易明白,找最难分辨的一条边,而之前triplet loss固定了这条边)


所以

1.每次train的时候都是最难的边或者说pair(容易混淆的两个东西)

2.利用了整的minibatch的信息而不是固定pair

相当于O(m)变为了现在的O(m^2)pairs 一个完全图


一般来说,接下去,我们写了一个矩阵运算,就是 (x1-x2)^2 = x1^2+x2^2-2x1x2 以矩阵的形式表达,然后每次求一下最close的negative是谁就好了。

但作者又提出说,batch是随机切的,那么信息是有限的。大多数情况下,minibatch中没有那些最难的。

所以作者没有使用random的batch,而是采用随机的取出一些positive pair,然后动态的找他们最难的边(因为模型也在调整)。


然后为了防止过拟合将max函数换成log和exp(依旧是增函数)


版权声明:本文为博主原创文章,未经博主允许不得转载。

论文实践学习 - Deep Metric Learning via Lifted Structured Feature Embedding

Deep Metric Learning via Lifted Structured Feature Embedding1. 准备 安装 Caffe-Deep-Metric-Learning-CVPR...
  • oJiMoDeYe12345
  • oJiMoDeYe12345
  • 2017年09月26日 15:45
  • 611

[深度学习论文笔记][CVPR 16]Deep Metric Learning via Lifted Structured Feature Embedding

该工作要解决的问题是分类种类数目极多的图像分类任务。当分类种类非常多的时候会面临两个问题:(a) 分类器的优化难度会显著增加;(b) 种类数目多的时候,每一类的训练数据数量会比较少。...
  • u010158659
  • u010158659
  • 2017年04月22日 21:42
  • 1625

TransE算法(Translating Embedding)

介绍TransE算法(Translating Embedding)
  • u011274209
  • u011274209
  • 2016年03月27日 14:42
  • 12060

【2017_ICCV】Deep Metric Learning with Angular Loss

提出了Angular Loss,考虑角度关系作为相似性度量。之前的度量方法主要考虑优化相似性(ContrastIve)或者相对相似性(Triplet Loss),文中方法限制negative poin...
  • booyoungxu
  • booyoungxu
  • 2017年11月11日 16:49
  • 95

CVPR16论文阅读1

文章题目: Zero-Shot Learning via Joint Latent Similarity Embedding发表方式:会议论文,CVPR2016主要作者:Ziming Zhang an...
  • zhongdongmaomao
  • zhongdongmaomao
  • 2016年06月24日 20:02
  • 408

Deep Learning(深度学习)学习笔记整理系列

一、概述        Artificial Intelligence,也就是人工智能,就像长生不老和星际漫游一样,是人类最美好的梦想之一。虽然计算机技术已经取得了长足的进步,但是到目前为止,还...
  • sherry_gp
  • sherry_gp
  • 2016年02月29日 21:43
  • 3367

Deep Learning学习(开篇)

原文http://www.cnblogs.com/JackOne/archive/2013/02/19/DeepLearning-FirstBoold.html Deep Learnin...
  • kuaile20
  • kuaile20
  • 2014年03月08日 16:56
  • 754

深度学习资料整理(文章类)

1 论文汇总 主要是顺着Bengio的PAMI review的文章找出来的。包括几本综述文章,将近100篇论文,各位山头们的Presentation。全部都可以在google上找到。 BTW:由...
  • tiandijun
  • tiandijun
  • 2014年10月26日 15:04
  • 2882

Deep Learning论文笔记之(三)单层非监督学习网络分析

Deep Learning论文笔记之(三)单层非监督学习网络分析zouxy09@qq.comhttp://blog.csdn.net/zouxy09          自己平时看了一些论文,但老感觉看...
  • zouxy09
  • zouxy09
  • 2013年08月15日 14:53
  • 31482

Deep Learning的基本思想以及训练过程

一 、DL的基本思想(通俗易懂) 假设我们有一个系统S,它有n层(S1,…Sn),它的输入是I,输出是O,形象地表示为: I =>S1=>S2=>…..=>Sn => O,如果输出O等于输入I,即输...
  • u011437229
  • u011437229
  • 2016年01月22日 13:48
  • 276
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:阅读小结Deep Metric Learning via Lifted Structured Feature Embedding
举报原因:
原因补充:

(最多只允许输入30个字)