【文献阅读】Silhouette based View embeddings for Gait Recognit

Silhouette based View embeddings for Gait Recognition under Multiple Views

github: 有
分类: 步态

Link

GitHub - ctrasd/gait-view: The codes for the paper “Silhouette-based View-embeddings for Gait Recognition Under Multiple Views”

核心问题

跨视角

解决方案

3.1. View projection matrix selection

Backbone可以使用GaitSet、GaitPart、GaitGL、MT3D等方法

1. 序列（$X_{in}\in {\mathbb{R}}^{T\times H\times W}$） 经过Backbone网络（E）得到特征（$X_f\in {\mathbb{R}}^{C_f\times H_f\times W_f}$）

2. 第一分支：HPM 的结果是 $f_{HPM}\in {\mathbb{R}}^{n\times D}$

3. 第二分支：polling操作 $f_v\in {\mathbb{R}}^{D_v}$

   1. projection matrices { W 1 , W 2 , … , W n } ( W i ∈ R D × D ) \lbrace W_1,W_2,\dots,W_n \rbrace(W_i \in \mathbb{R}^{D\times D}) {W1​,W2​,…,Wn​}(Wi​∈RD×D) are selected according to the predicted view, where n is the number of strips cut in the HPP Module [4].

   b. $f_v$ classification feature

   $$X_f=E(X_{in})\text{and}{f}_v=F(P_{Global\_Avg}(X_f))$$

特别对于GaitSet，还有一个$X_g$可供使用，因此

$$f_v=F(P_{Global\_Avg}([X_f;X_g]))$$

$F()$ 表示全连接层 ， $P_{Global\_Avg}$ 表示GAP操作

1. predicted view probability $\hat{p}\in {\mathbb{R}}^M$ and of the input gait silhouettes and the view of maximum probability $\hat{y}$ are calculated as:

   $$\hat{p}=W_{view}{f}_v+B_{view}\text{and}\hat{y}=\underset{i}{\mathrm{argmax}}\widehat{p_i}$$

   where M is the number of discrete views, $W_{view}\in {\mathbb{R}}^{M\times D_v}$ are weight matrices, $B_{view}$ are the bias terms and y ^ ∈ { 0 , 1 , 2 , … , M } \hat{y}\in \lbrace0,1,2,\dots ,M\rbrace y^​∈{0,1,2,…,M}

   所以$\hat{p}$ 相当于是由$f_v$ 经过一个全连接得出的, $\hat{p}$是一个$M$的向量, $M$是view的个数, 所以$\hat{p}$表示的是当前的$f_v$ 特征属于各个视角的概率, 而$\hat{y}$ 则是最大的概率所对应的那个视角

2. For predicted view $\hat{y}$ , a corresponding view projection matrix group Z y ^ ∣ { W i ∣ i = 1 , 2 , … , n } Z_{\hat{y}}|\lbrace W_i|i=1,2,\dots,n\rbrace Zy^​​∣{Wi​∣i=1,2,…,n} will be trained where $W_i\in {\mathbb{R}}^{D\times D}$ is the projection matrix. And all the view projection matrix can be expressed as S = { Z i ∣ i = 1 , 2 , … , M } S = \lbrace Z_i|i=1,2,\dots,M\rbrace S={Zi​∣i=1,2,…,M}

   对于一个$\hat{y}$ 有对应的一个$Z_{\hat{y}}$, 每个$Z_{\hat{y}}$ 内有n个$W_i\in {\mathbb{R}}^{D\times D}$ 的权重矩阵.

   所有的权重矩阵构成$S$集合, 即$S\in {\mathbb{R}}^{M\times n\times D\times D}$(M 个视角，)

   Gengeration的是个啥东西他是如何将这个$\hat{p}$ 和 $\hat{y}$ 与对应y视角的下的矩阵联系起来的

3.2. HPP feature projection

1. 此分支的输入为$f_{HPM}\in {\mathbb{R}}^{n\times D}$ , 第$i$ 个水平条表示为$f_{HPM,i}i=1,2,\dots ,n$

2. 假定 输入轮廓序列的$\hat{y}$被认定为$\theta$ , 预测特征可以表示为

   $$\begin{gathered} f_{final,i}=W_i{f}_{HPM,i} \\ {f}_{final}=[f_{final,1},f_{final,2},\dots ,f_{final,n}] \end{gathered}$$

   where $i=1,2,\dots ,n$ , $W_i\in Z_{\theta }$ 最终使用$f_{final}$用作最终的特征衡量

3.3. Joint losses

损失函数

$${\mathcal{L}}_{ce}=-\sum _{j=1}^N\sum _{i=1}^M{y}_{j}log(p_{ji})w.r.t.p_{ji}=\frac{e^{{\hat{p}}_{ji}}}{{\sum }_{i=1}^M{e}^{{\hat{p}}_{ji}}}$$

$N$ 所有的步态序列, $y_j$是第j个序列的独立真值, $(Q,P,N)$表示三元组，其中Q,P来自同一对象，Q,N对应不同对象

Denote $K$ triplets of fixed identity as { T i ∣ T i ( f f i n a l Q i , f f i n a l P i , f f i n a l N i , i = 1 , 2 , … , K ) \lbrace T_i|T_i(f^{Q_i}_{final},f^{P_i}_{final},f^{N_i}_{final},i=1,2,\dots,K) {Ti​∣Ti​(ffinalQi​​,ffinalPi​​,ffinalNi​​,i=1,2,…,K), then combining the Equation (4), the triplet loss can be expressed as:

$${\mathcal{L}}_{trip}=\frac{1}{K}\sum _{i=1}^K\sum _{j=1}^n\max (m-d_{ij}^{-}+d_{ij}^{+},0)$$

where $d_{ij}^{-}=||f_{final,j}^{Q_i}-f_{final,j}^{N_i}|{|}_2^2,d_{ij}^{+}=||f_{final,j}^{Q_i}-f_{final,j}^{P_i}|{|}_2^2$

$$\mathcal{L}={\lambda }_{CE}{\mathcal{L}}_{CE}+{\lambda }_{trip}{\mathcal{L}}_{trip}$$

其中${\lambda }_{CE}$和${\lambda }_{trip}$是超参数

实验结果

我可以使用的想法

图2。条形 0 和条带 20 的视图投影矩阵示例。Diff 列显示了同一条带中不同视图的两个矩阵之间的绝对差异。

In order to explain the effectiveness of our framework, we compare the projection matrices of different views in ViGaitGL (trained on OU-MVLP). As illustrated in Figure 2, their difference has obvious vertical texture, which indicates that the projection matrices of different views has view specificity for feature mapping.

为了解释我们框架的有效性，我们比较了 ViGaitGL 中不同观点的投影矩阵（在 OU-MVLP 上接受过培训）。如图 2 所示，它们的差异具有明显的垂直纹理，这表明不同视图的投影矩阵具有特征映射的视图特异性。