reid论文阅读

1 篇文章 0 订阅
1 篇文章 0 订阅

论文1。(基于外观特征的)

将reid视为分类问题。来提取特征。将原先在imagenet上训练好的分类网络进行迁移学习,来做751个人的分类训练。网络分为4个部分。

一。特征提取网络:基于VGG16的googlenet。

二。防止过拟合进行dropout操作f=r*f。

三。分类网络训练,视不同的人为不同的类,将原有的imagenet分类网络中改造最后两层,输出为训练集中的人类总数N。

四。验证网络将视为一个二分类问题,输入两张图片。判断是否是同一个人。

多loss训练。多级调参,首先固定其他网络的参数不动,调分类网络的参数。再调验证网络,再联合调优。

 

 

论文2。(基于局部特征的reid)

首先将图片进行切片,切成一横条一横条的,一个行人被切成若干横条示例为六条,然后依次按照输入LSTM网络中。孪生网络由两条lstm网络组成,共享权重。对比损失函数(contrastive loss function)。

f(t)代表的是遗忘门,决定会从以前的状态信息中丢弃什么。i(t)和g(t)代表输入门,决定什么样的信息将被存放至细胞状态中。o(t)代表输出门,决定我们要将什么样的状态进行输出。

第一步,剪切图片,提取LOMO和color name特征作为input feature。之后把input feature 当做空间序列step by step输入LSTM中。下面顺便讲一下LSTM的结构(上图)。。。。Xt是每一个剪切过后经过特征提取的input feature,h(t-1)是上一层lstm输出的隐藏层。Xt和h(t-1)输入后会被加工成四个中间值,f(t)代表遗忘门,表示Xt和h(t-1)决定要遗忘上一层lstm状态的多少;i(t)和g(t)代表输入门,表示要从本次输入的Xt和h(t-1)中提取多少信息来作为输入,i(t)和g(t)的激活函数不一样,分别计算完之后还要进行元素相乘作为总的输入。o(t)代表输出门,决定要将本层lstm的状态值的多少作为输出来输出成为本层的隐藏层。本层lstm的状态值(记忆值)s(t)由两个输入i(t)和g(t)相乘的结果and遗忘门与上次lstm的状态值s(t)相乘之和决定。而本层的隐藏层h(t)由刚刚计算出来的状态值s(t)与输出门相乘决定。。。。(LSTM结构说完)。。至此,我们得到了图片每一个区域经过LSTM网络输出来的值h(t)。将这些值拼在一起,与一个转换矩阵Wm相乘,得到Sp,这里我理解的是与全连接层有点类似,Wm全是参数啦,需要训练的。有点度量学习的意思,目的是把相同的人聚类。OK。最终得到Sp了,这个就可以用来计算与别的Sq的欧式距离了。距离大代表不像,距离小代表像。最后是损失函数,contrastive loss。L(sp,sq,Yi) = (1 − Yi)1(Ds)2 + (Yi)1{max(0,m − Ds)}2。m是margin也是boundary。

论文[3](基于gan造图)

本文贡献之一是觉得pose是提取feature map时 导致难以衡量是否相同id的难点。因此决定将不同图片的行人改为相同的pose。

首先用openpose这个已训练好的网络来提取行人的pose,这样每张行人图片的pose就有了。之后训练GAN,生成器G需要输入一张人图Ii,和一个pose Ipj。这个pose Ipj对应一个主人Ij。G要生成一个新的行人图Ij_hat。D的任务就是区分Ij_hat与Ij那个是生成图。反复训练就能得到一个很好的G。辨别器D可以看成是一个二元分类模型,判断输入图片Ii和Ij(Ij_hat)是否同一个id。至此GAN就完成了。

接下来是pose的选择问题,用openpose将market-1501的pose都提取出来,然后用K-means聚类方法得到八个聚类中心,作为我们生成器的pose输入。特征提取网络,的输入有一张原始的行人图片和八张经过生成器G生成的八种不同pose的伪造图片。原始图片经过resnet-50-A提取特征,八张伪造图片经过resnet-50-B提取特征,最后九个feature map fuse 成一个完整的feature map。计算欧氏距离。

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值