人体姿势生成相关知识

人体姿势生成相关知识

比较： PG²,Def-GAN,PATN,PISE

1.仿射变换

1.1定义

仿射变换：两种简单变化的叠加：线性变换，平移变换。包括缩放、平移、旋转、翻转、错切。
仿射变换中集合不变的性质：

• 凸性
• 共线性：若几个点变换前在一条线上，则仿射变换后仍然在一条线上
• 平行性：若两条线变换前平行，则变换后仍然平行
• 共线比例不变性：变换前一条线上两段线段的比例，在变换后比例不变

1.2仿射变换数学表达

一个集合的仿射变换为：

二维平面的变换为：

1.3 几种变换

1.3.1缩放变换

对应的变换矩阵M为:

1.3.2平移变换

对应的变换矩阵M为：

1.3.3翻转变换

水平翻转对应的变换矩阵M为：

垂直翻转对应的变换矩阵M为：

镜像变换对应的变换矩阵M为：

1.3.4旋转变换

对应的变换矩阵M为：

2.范数

2.1向量范数

2.1.1 1-范数

1-范数表示向量元素绝对值之和

2.1.2 2-范数

2-范数表示向量元素绝对值的平方和再开方

2.1.3 ∞-范数

所有∞-范数表示向量元素绝对值中的最大值

2.1.4 -∞-范数

-∞-范数表示所有向量元素绝对值中的最小值

2.2矩阵范数

2.1.1 1-范数

1-范数表示所有矩阵列向量绝对值之和的最大值

2.1.2 2-范数

2-范数表示即A^TA矩阵的最大特征值的开平方

2.1.3 ∞-范数

∞-范数表示所有矩阵行向量绝对值之和的最大值

2.1.4 F-范数

F-范数表示矩阵元素绝对值的平方和再开平方

2.1.5核范数

核范数表示A的奇异值之和

3.Gram矩阵

n维欧式空间中任意k ( k ≤ n ) 个向量α₁，α₂，…，α_k的内积组成的矩阵称为k个向量α₁，α₂，…，α_k的Gram矩阵。

4.散度

4.1 KL散度

KL散度是两个概率分布P和Q差别的非对称性的度量。KL散度是用来度量使用基于Q的编码来编码来自P的样本平均所需的额外的比特个数。 典型情况下，P表示数据的真实分布，Q表示数据的理论分布，模型分布，或P的近似分布。当P(x)和Q(x)的相似度越高，KL散度越小。

性质：

• 不对称性：尽管KL散度从直观上是个度量或距离函数，但它并不是一个真正的度量或者距离，因为它不具有对称性，即D(P||Q)!=D(Q||P)。
• 非负性：相对熵的值是非负值，即D(P||Q)>0。

4.2 JS散度

JS散度也称JS距离，是KL散度的一种变形。

相对于KL散度而言，JS的优点有：

• 值域范围：JS散度的值域范围是[0,1]，相同则是0，相反为1。相较于KL，对相似度的判别更确切了。
• 对称性：即 JS(P||Q)=JS(Q||P)。

4.3交叉熵

交叉熵可以作为损失函数，使用它可以衡量P和Q的相似性。

5.上采样的方法

5.1 插值法

5.1.1 最邻近插值法

**原理：**将待求像素的四邻像素中，将距离待求像素最近的邻接像素灰度值赋予待求像素。设i+u, j+v(i, j为正整数， u, v为大于零小于1的小数，下同)为待求象素坐标，则待求象素灰度的值 f(i+u, j+v) 如下图所示：

如果(i+u, j+v)落在A区，即u<0.5, v<0.5，则将左上角象素的灰度值赋给待求象素，同理，落在B区则赋予右上角的象素灰度值，落在C区则赋予左下角象素的灰度值，落在D区则赋予右下角象素的灰度值。
**缺点：**会导致造成插值生成的图像灰度上的不连续，在灰度变化的地方可能出现明显的锯齿状。

5.1.2双线性内插法

双线性内插法是利用待求象素四个邻象素的灰度在两个方向上作线性内插，如下图所示：

对于 (i, j+v)，f(i, j) 到 f(i, j+1) 的灰度变化为线性关系，则有：
f(i, j+v) = [f(i, j+1) - f(i, j)] * v + f(i, j)
同理对于 (i+1, j+v) 则有：
f(i+1, j+v) = [f(i+1, j+1) - f(i+1, j)] * v + f(i+1, j)
从f(i, j+v) 到 f(i+1, j+v) 的灰度变化也为线性关系，由此可推导出待求象素灰度的计算式如下：
f(i+u, j+v) = (1-u) * (1-v) * f(i, j) + (1-u) * v * f(i, j+1) + u * (1-v) * f(i+1, j) + u * v * f(i+1, j+1)
双线性内插法的计算比最邻近点法复杂，计算量较大，但没有灰度不连续的缺点。它具有低通滤波性质，使高频分量受损，图像轮廓可能会有一点模糊。图像看起来更光滑。
（以上文章转自http://www.cnblogs.com/linzhao/archive/2012/02/16/2354175.html）

5.2转置卷积（反卷积）

反卷积其实就是卷积操作的逆过程，但是并不能获得原始图像，只能还原原始的尺寸。

6.add和concat操作进行融合特征

• concat :通道数相加。
• add:特征图相加，但是通道数不变。

7.AdaIN（自适应实例化）

采用两个特征映射作为输入，并简单地调整内容特征映射的通道平均值和方差，以匹配样式特征映射。

σ_(y)为风格输入标准差，µ_(y)为风格输入均值。