多任务深度学习论文阅读

原创 2017年04月11日 16:51:10

Deep Learning Face Representation by Joint Identification-Verification


这篇论文主要是针对人脸识别,分为两个任务:

  1. face identification task
  2. face verification task

前者目的是增大类间间距,即不同人的差距;后者是为了减小类内差距,即相同人在不同环境下的差异。
在网络的设计中,最终生成的DeepID2是由conv3和conv4融合得到的,反映了不同层的特征信息。其中conv4设置了权重在神经元间不共享,即不同位置的卷积核不同(locally-connected layer)。
fig1

Identification

这个任务采用的是传统的softmax n分类器,直接跟在DeepID2后面,以交叉熵为损失函数。
fig2

Verification

目的是让从同一个人提取的DeepID2特征类似,从而降低类内的差距。其约束条件可以是L1、L2范数或余弦相似度,其计算分别为:
fig3
fig4
值得注意的是,公式中出现了两个图片输入(fifj),当为同类时,yij=1否则为-1,从而提供了类内与类间两种损失。

梯度更新

fig5
梯度更新有一点疑惑的是最后更新参数不应该是使用参数的梯度去相减吗?

Text-Attentional Convolutional Neural Network for Scene Text Detection


这一篇是讲文字识别(其实是找到哪里是文字)。为了解决这一个看起来简单的问题,加了两个较为复杂的辅助任务。

网络结构

fig6

看到这个输入我是有点震惊的,网络输入是32*32的图片,主要任务是输出是否为字符,辅助任务是字符分割和字符分类(感觉是辅助带大哥飞啊= =)。
整个网络解决了三个问题:where(区域回归,或是字符分割)、what(字符分类)、whether(是否为字符),其中前两个较为困难,最后的也是最主要的比较简单。

loss设计

总体的loss为:
fig7
针对于每个任务,具体的loss为(这里又觉得少了后括号):
fig8
输出分别为:

  • b:text、notext二分类
  • l:0-9,a-z,A-Z所有字符的62分类
  • r:分割区域,32*32大小,取值范围{0,1}的二进制mask

辅助任务的只在训练过程中进行,测试中停止。

Embedding Label Structures for Fine-Grained Feature Representation


这一篇主要是对triplet loss的改进,变成了四元组损失。

triplet loss

文中说,传统的softmax是

“squeeze” the data from the class into a corner of the feature space

而没有注重类内、类间的关系。
triplet loss 可以说又是第一篇论文二输入的一次改进,输入分别为:参考原始图像(ri),与参考图像同类别图像(pi),与参考图像不同类别图像(ni)。并且设置一个边界m,使类似图像的距离(L2范数)加上m小于不同类图像的距离。

fig9
其实我觉得右边可以改成(D(ri,ni)+D(pi,ni))/2,这样是不是数据利用率高一些呢。
最终选择hinge loss:
fig10

缺点是如果有N张图片,那么triplet将会有N3量级的三元组合,训练速度很慢。
整个任务使用了softmax与triplet的组合:
fig11

四元组

fig12
其实就是把类划得更细了,加入了细粒度的标签与特征。
p+i与原图大类、小类都一样,而pi是大类相同,小类不同(颜色、年份等)。
公式表示为:
fig13
loss表示为:
这里写图片描述

版权声明:本文为博主原创文章,转载请标注出处。

多任务深度学习(MultiTask Learning)

多任务学习给出多个监督信息(标签),利用任务之间的相关性互相促进。案例1-人脸识别香港中文大学汤晓鸥组发表在NIPS14的论文《Deep Learning Face Representation by...
  • u012938704
  • u012938704
  • 2016年09月29日 16:48
  • 7276

论文理解:多任务学习及卷积神经网络在人脸识别中的应用

在已有的基于深度学习的人脸识别框架中,每个任务(人脸鉴别、认证和属性分类等)是相互独立设计的。本文提出一种基于多任务框架的深度卷积网络,通过将人脸鉴别、认证和属性分类同时作为网络的目标函数,端到端地训...
  • Enjolras_fuu
  • Enjolras_fuu
  • 2017年04月15日 18:07
  • 2045

NLP多任务学习:一种层次增长的神经网络结构 | PaperDaily #16

在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考。 在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果。 ...
  • c9Yv2cf9I06K2A9E
  • c9Yv2cf9I06K2A9E
  • 2017年11月21日 00:00
  • 106

迁移学习(transfer learning)、多任务学习(multi-task learning)、深度学习(deep learning)概念摘抄

本文在写作过程中参考了诸多前辈的博客、论文、笔记等。由于人数太多,在此不一一列出,若有侵权,敬请告知,方便我进行删改,谢谢!!! 迁移学习(Transfer Learning) 迁移学习出现的背景...
  • qrlhl
  • qrlhl
  • 2015年10月11日 14:36
  • 7683

多任务深度学习

阅读材料原文链接 多任务的信息还可以从不同层进行判断,例如衣服颜色信息可以从低层进行判断,而穿衣风格的信息要从高层进行判断 待阅读论文 Multi-task Learning(1997)...
  • alwaystry
  • alwaystry
  • 2016年08月22日 10:31
  • 720

Tensorflow 多任务学习

之前在caffe上实现了两个标签的多任务学习,如今换到了tensorflow,也想尝试一下,总的来说也不是很复杂。建立多任务图多任务的一个特点是单个tensor输入(X),多个输出(Y_1,Y_2.....
  • Yan_Joy
  • Yan_Joy
  • 2017年03月15日 20:24
  • 2839

Learning中的多类分类,多标签分类,多示例学习,多任务学习,

 多类分类(Multiclass Classification) 一个样本属于且只属于多个类中的一个,一个样本只能属于一个类,不同类之间是互斥的。 典型方法: One-vs-All or ...
  • langb2014
  • langb2014
  • 2016年10月31日 15:16
  • 1520

神经网络中的多任务学习

简述 需求背景 多任务学习的需求比较普遍, 比如给定一篇doc(如 博客, 微博, 短新闻) 的文本信息和数字信息(如 长度, 图片数, 发表日期), 来预测点赞, 转发, 点击率 等若干个回归值....
  • chuchus
  • chuchus
  • 2017年12月11日 21:11
  • 111

多任务深度学习代码

转载自:多任务深度学习 基于Caffe实现多任务学习的小样例 本节在目前广泛使用的深度学习开源框架Caffe的基础上实现多任务深度学习算法所需的多维标签输入。默认的,Caffe中的Data层只支持...
  • alwaystry
  • alwaystry
  • 2016年08月29日 11:09
  • 1643

多任务学习代码

转载自:多任务学习代码 Convex Multi-task Feature Learning 是一篇比较经典的文章,代码点击这里可以下载。 还有一篇是Multi-Task Feature Learn...
  • alwaystry
  • alwaystry
  • 2016年09月06日 16:17
  • 414
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:多任务深度学习论文阅读
举报原因:
原因补充:

(最多只允许输入30个字)