关闭

行人属性“Attributed Grammars for Joint Estimation of Human Attributes, Part and Pose”

1650人阅读 评论(0) 收藏 举报
分类:

相关工作
1.属性模型:
人脸:性别,发型,是否戴眼镜
Poselet:检测身体parts
Panda: HOG based Poselet 检测parts,CNN分类。重在数据和微调。本文重在建模和表示。

2.Part定位模型:
pictorial structural model,geometry based tree model,DPM,POselet,CNN。

3.Grammar模型:
phrase structural grammars(PG)
dependancy grammars(DG)
And-or Grammar

Attributed Grammar Model
part用状态变量表示位置及属性,part状态(x,y,s),属性状态:属性。parse tree的概率模型使用Gibbs能量模型表示:

p(pt|I)=1Zexp{EPA(I|pt)EAA(I|pt)EPR(I|pt)EAR(I|pt)}

似然项用于appearance响应,先验项描述语法的关系。EPA(I|pt)是appearance想,EPR(I|pt)是relation项。能量可以描述为得分函数。

Part 模型
1.定义
part定义的三种方法:one part(whole body)
three parts(head, upper body, lower body)
find-grained parts(eyes, writs, hands, and etc.)

首先寻找合适的Part数目,下图使用keypoint定义part,目的是找到P个窗口覆盖所有的特征点,步骤是:
(1) Randomly select the example which has all visible keypoints.
(2) Draw P bounding boxes by avoiding overlap with other bounding boxes until each part region includes N/P keypoints approximately.
(3) Visit training examples one by one and check whether it can be described with current part design.

通过该方法找到7个part满足大部分样本:
这里写图片描述

2.Part 关系模型
共享最多的part作为根节点,然后加入最近的part扩展树结构,树结构如下:

这里写图片描述

Part关系使用And-rule定义,通过part之间的几何约束,part与其type的articulation约束计算,part使用Or-rule定义。
这里写图片描述

3.Part Appearance模型
考虑到各种变化,对剪切的part聚类,对每种part训练逻辑回归检测器,每个part定义了10种类型,下图显示了两个part的其中五种类型,
这里写图片描述

appearance 特征使用4种:CNN,梯度HOG,颜色直方图,RGB。appearance得分是part及type特征与权值的内积。

SPA(I|P)=<λPap,ϕPa(I,p)>
SPA(I|w)=<λPap,ϕPa(I,w)>

属性模型
属性与part的关系比较密切,对于part定义属性A(p),(1)假设part与每个属性都有联系,(2)对每个part类型使用逻辑回归训练二类属性分类器,(3)忽略平均预测率<0.5的part与属性关系,下表显示了预测准确率。
这里写图片描述

A(p)可认为是两层树,根节点And-rule定义,包含对应的属性,每个属性遵循OR-rule,示例如下:
这里写图片描述

1.属性关系模型
下图中,每个属性节点A(P)用蓝边与part相连,关系反映了给定part类型属性的出现频率。
这里写图片描述

属性关系得分是:
SAR(pt)=piptSAR(wi,A(pi))
其中,
SAR(w,A(p))=<λattw,ϕatt(A(p))>

2.属性外观模型
下图显示了5种类型的p1,对应4种属性。属性外观得分是:
SAA(I|a)=<λAaa,ϕAa(I,a)>

这里写图片描述

a是属性的类型,ϕAa(I,a)是模板响应向量,λAaa是类型a外形特征权值,对于pt的总得分是:
这里写图片描述

Parsing and Inference
对给定图像寻找parse tree,最大化之前的得分函数:
这里写图片描述
parsing定义为最大化得分函数 S(p0,I)p0是根节点,对每个part,part type及属性计算外形图及关系图。对外形得分图,每个part,part type及属性计算外形响应。对关系图,最大化父节点组合。子节点条件独立,可以独立最大化。
给定节点pi,得分函数是:
这里写图片描述

Learning
parse tree得分是模型参数λ与特征响应ϕ(pt,I)的内积,学习任务可认为是寻找最小化风险的参数λ。定义了两个损失函数,part loc损失和part 选择损失,
这里写图片描述

实验结果

这里写图片描述

在行人属性数据集上的结果如下所示:
这里写图片描述

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:332502次
    • 积分:4987
    • 等级:
    • 排名:第5681名
    • 原创:171篇
    • 转载:3篇
    • 译文:2篇
    • 评论:192条
    最新评论