Remote PPG—— Pos Wang皮肤反射模型

一、肤色正交平面的来源

由于2SR的主要特点是考虑色调变化(即忽略强度)，因此它在(12)中的对应是首先消除1方向上的亮度变化。因此，我们将Cn(T)投影到正交于1的平面上，表示为：
$S(t)=P_p\ast C_n(t)=P_p\ast N\ast I_0\ast (u_s\ast s(t)+u_p\ast p(t))$
$P_p\ast 1=(0,0).T$ ,
$P_{p,1}\ast P_{p,2}.T=0$

其中，Pp表示2×3的投影矩阵，而Pp,i表示Pp的第i行/投影轴，在定义中，它被假定为彼此正交，因为非正交轴总是在另一个方向上导致单独的分量，从而表现出冗余。在这种情况下，Pp在时间归一化RGB空间中定义与1正交的平面，该平面实际上是与时间归一化肤色正交的平面。
从概念上讲，Pp有两个优点：1)(运动引起的)强度变化通常是同时影响所有三个通道的较大失真；2)目前不需要N·us·I0和N·up·I0的精确知识来定义主要失真方向。虽然已确定投影平面的法向量(为1)，但Pp中的实际投影轴尚未定义。可以考虑定义一个Pp，它可以进一步将Cn(T)投影到与平面上的镜面反射变形正交的方向上。然而，这不是一个可行的选项，因为N·us·I0和N·Up·I0可能不是彼此正交的；通常，由于运动类型不同，N·us·I0无法确切定义。相反，当光源和摄影滤光片在测量过程中固定时，N·UP·I0相对稳定。由于PPG吸收的生理特性，我们倾向于用N·UP·I0来定义Pp，
血液搏动在rgb通道中有不同的相对ppg贡献，可表示为血容量脉搏向量$u_{pbv}$。

其中，$u_{pbv}(C)$表示在波长λ∈[400,700]nm处采样的相机的第C个颜色通道的脉动强度(即标量)，Hc(λ)表示相机的第C个颜色通道的响应，i(λ)和ih(λ)表示给定光源和用于测量绝对Ppg振幅Ppg(λ)的卤素灯的光谱组成，ρs(λ)表示皮肤反射光谱。

上图表示脉搏强度在于1正交的平面上的分布，其中脉动强度是脉动值的绝对值。投影面由个离散投影z轴，以1°间隔采样组成。红色/蓝色表示脉动幅度。
将从视频中皮肤测量得到的归一化RGB信号C(t)投影到Z1，Z2，Z3中。
为了充分理解PP中的投影轴是如何影响投影信号S(T)的质量的，我们使用Upvb研究了投影方向在平面上的脉动性。假设PP中的一个投影轴为z，z方向上的脉动度为
$p=U_{pbv}.T\ast z$
其中，z表示3×1投影矢量，upbv表示3×1血容量脉冲矢量，p表示z方向上的脉动度，即可以为正或负的标量。脉动强度是p的绝对值，它反映了z方向上脉动变化的幅度(交流电平)。

二、从正交平面分离信号并重新组合

虽然在测量期间固定记录设置时UPBV保持稳定，但是光源和摄像机滤光器在视频中通常是未知的，并且可以在不同的设置中变化，这使得很难使用固定的离线UPBV进行准确的在线测量。利用血液容积脉搏的知识，在平面上定义一个与时间归一化肤色方向正交的粗略投影区域，并通过实时调整来细化平面上的精确投影方向。
因此，关键点在于定义平面上的两个投影轴，这两个投影轴可以限定最可能的脉动区域，通过调谐S1(T)+S2(T)可以在边界内发现更大的脉动。
式中D(T)=[d1(T)，d2(T)，d3(T)].T是与Cn(T)具有相同条目但排序不同的向量。D(T)中的条目根据Cn(T)中RGB信道的脉动强度递减(即，基于upbv的下行信道排名)来排序。(32)中定义的投影轴彼此正交，也与1正交。最重要的是，两个投影轴都表现出正的脉动，从而产生同相脉冲信号。
以单一光源(如荧光灯)为例，皮肤脉动通常在G通道中最大，其次是B通道和R通道。基于这样的通道排名和我们在(32)中的要求，可以将(28)中的投影轴定义为
$P_p=[[0,1,-1],[-2,1,1]]$
其实际上将时间归一化的RGB信号组合为：
S1(T)=Gn(T)−Bn(T) 及 S2(T)=Gn(T)+Bn(T)−2Rn(T)

三、精确投影方向（$\alpha$调谐）

有界区域内中可以进一步分离镜面反射分量和脉动分量。在调谐之前，需要证明镜面反射失真和脉冲在投影面上是物理可分离的。为此，我们比较了正交于1的平面上这两个分量之间的信号强度分布(即“强度”是指信号变化的幅度)(见图3)。基于假设的uskin和upbv，结果表明镜面分量和脉冲分量在平面上的分布几乎相反，即它们的强度曲线有明显的相移。当N·us·I0和N·Up·I0在投影面上的分布完全不同时，镜面分量和脉动分量在算法上是可分离的。
从这个意义上说，我们的调谐依赖于这样的假设：在时间归一化的RGB通道中，镜面反射和脉冲具有不同的相对强度。这一假设在正常情况下似乎是正确的：人体皮肤组织中的血红蛋白和黑色素含量导致特定的发色团浓度。白光下的皮肤颜色(包括深色皮肤)看起来更红，更不蓝，也就是说，没有人天生就是蓝色的脸。因此，镜面反射向量(例如，在时间归一化之后的肤色的逆)不太可能与血容量脉冲向量一致。然而，由于照明光谱影响镜面反射分量和脉动分量对RGB通道的相对贡献，因此这种假设是否也适用于极端亮度条件仍然是值得怀疑的。

图三表示脉动强度和镜面反射强度在与1正交的平面上的分布，其中红色/蓝色表示信号强度较强/较弱的区域。这里，我们应用1)Usk in=[0.77，0.51，0.38].T根据(22)和(24)，将镜面反射矢量近似定义为[0.37，0.56，0.75].T；以及2)提高PBV的BV，将脉动矢量定义为[0.33，0.77，0.53].T这两个(颜色变化)向量被用来估计两个分量在投影面上的强度，类似于图2中的步骤。以投影轴的程度为变量，可以通过强度曲线来比较脉动强度和镜面反射强度在平面上的分布

若假设为真，则两个投影轴所限定的区域具有大的脉动强度和低的镜面反射强度，因此，投影的信号具有1)同相脉动分量和2)反相镜面反射分量。与Chrom类似，我们将精确的投影方向留给Alpha调整，这可以表示为

其中σ(·)表示标准偏差运算符。使用的阿尔法调谐具有吸引人的特性：1)当脉动变化主导S(T)时，S1(T)和S2(T)同相出现。将两个同相信号相加将增强所产生的信号强度，即此时α的值不是临界的；以及2)当镜面反射变化主导S(T)时，S1(T)和S2(T)出现反相。α可以将一个信号的镜面反射变化强度拉/推到与另一个信号相同的水平，即σ(S1)=σ(α·S2)。将两个幅度相同的反相信号相加将抵消镜面反射失真。然而，当脉动强度和镜面反射强度彼此非常接近时，即α由两者的混合驱动时，其性能变得次优

假设h(T)是从滑动窗口(具有长度l)中的短视频间隔估计的，我们可以通过重叠相加部分分段h(T)(在使其为零均值之后)来导出长期脉冲信号H(τ)。因此，H(τ)是可用于进一步分析(例如脉率估计)的最终输出脉冲信号。更具体地说，L的设置取决于摄像机帧速率，该帧速率应该包括至少一个用于处理的心跳周期。最重要的是，短L是首选，因为它可以快速调整Alpha调谐，以抑制短间隔内的瞬时失真，还可以避免呼吸等低频分量的影响。重叠添加长度必须小于l。在我们的示例中，窗口幻灯片1帧用于重叠添加(即，重叠添加长度因此为l−1)，其中包括更多的测量值。

四、算法

为了得到完全指定的算法，我们假设在大多数使用情况下，在脉动性方面的信道排名是相对稳定的，即UPDBV中的实际值可以改变，但是它们的顺序不能容易地改变。这如图4所示，其中定性地说明了亮度和肤色的影响。图4(A)举例说明了两种非常不同的常用亮度光谱：白炽灯和荧光灯。由于白炽光的光谱可以被认为是荧光光的低通滤波版本，因此预计在这两种照明条件下，upbv的通道排名不会有太大差别。图4(B)显示了不同肤色的反射光谱。由于它们的形状相当恒定，因此UPBV的频道排名预计将独立于肤色。因此，为简便起见，我们以白炽灯或荧光灯作为典型光源来确定基准的投影轴

红/绿/蓝虚线表示相机R/G/B通道的响应；黑色曲线表示PPG的绝对振幅；黄色曲线表示皮肤反射光谱；青色/洋红曲线表示白炽灯/荧光灯的光谱。由于PPG幅度是固定的，并且相机传感器的RGB通道响应的顺序不会改变，因此我们只研究亮度系数和肤色系数：(A)比较白炽灯(青色曲线)和荧光灯(洋红曲线)的照明条件，以及(B)比较不同的肤色(黄色曲线)。

新方法的创新之处在于利用时间归一化RGB空间中与肤色正交的平面进行脉冲提取。所以我们把它命名为POS，这也是它区别于现有技术的独特之处。为了突出POS的基本/独立性能，我们尽可能保持其算法的简洁，即甚至不使用常用的带通滤波。