![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 93
Cry_Kill
坚持自己的梦想
展开
-
TransRPPG
作者提出了一种基于面部和背景多尺度时空图的轻量级远程光电体积描记的Transformer (TransRPPG),用于 3D 面具面部呈现攻击 (PA) 检测。作为一个端到端的模型可测量 rPPG 信号,并且将背景信息融合进行整个网络。原创 2023-12-30 09:00:00 · 1044 阅读 · 0 评论 -
PulseGAN
PulseGAN 是基于生成对抗网络框架设计的,在时间和频谱域中都定义了 Loss 损失。它以 CHROM 信号为输入,通过深度生成模型输出一个 rPPG 脉冲。并且作者表示这种架构也很容易与现有的基于深度学习的 rPPG 方法集成,并进一步提高它们的性能。原创 2023-12-29 19:28:23 · 905 阅读 · 0 评论 -
Non-Contrastive Unsupervised Learning of Physiological Signals from Video
这篇论文提出了一种用于端到端无监督信号回归的非对比学习方法,并对面部视频的血容量脉搏估计进行了特定实验。该SiNC框架仅具有松散的频率约束即可有效地学习强大的视觉特征。通过使用非rPPG数据和简单损失函数训练准确的rPPG模型来证明这一点。原创 2023-12-25 11:38:55 · 977 阅读 · 0 评论 -
RTrPPG
3DCNN 是使用端到端方法从视频中提取 rPPG 信号的绝佳选择。然而,它们复杂的结构可能会阻碍它们的实时应用。在本文中提出了一个 3DCNN 基线和一系列实验,以找到一个快速准确的网络来获取可靠的 rPPG 信号。最佳配置称为实时 rPPG:RTrPPG。作者表明,通过降低输入图像的维度,可以提高推理速度,但代价是测量 rPPG 信号的精度下降。最后提出了一个联合解决方案,表明基于时间频率的损失函数对于网络学习输入视频的基本特征是必要的。原创 2023-12-18 15:45:08 · 945 阅读 · 0 评论 -
PhysFormer
在本文中提出了一种用于远程生理测量的端到端视频 Transformer 架构,即 PhysFormer。通过时间差 Transformer 和动态监督使得 PhysFormer 能够在基准数据集上实现卓越的性能。基于 Video Transformer 的生理测量研究仍处于早期阶段。设计更高效的架构。提出的 PhysFormer 参数为 7.03 M,GFLOPs 为 47.01,不利于移动部署探索更准确、更高效的时空自注意力机制,尤其是对于长序列rPPG监测。原创 2023-11-21 19:25:57 · 313 阅读 · 0 评论 -
EfficientPhys
作者提出了一种称为EfficientPhys的新方法,以实现简单,快速,准确的基于相机的非接触式生命体征测量。并且通过使用显着减少的计算能力实现了强大的性能。凭借简洁优雅的一站式设计,EfficientPhys 还有助于解决上次机器学习部署的问题,并减少健康差距。原创 2023-11-20 13:09:47 · 431 阅读 · 2 评论 -
Convolutional Block Attention Module
在论文中,作者提出了一个新的网络模块,名为“卷积块注意模块”。由于卷积操作通过将跨通道和空间信息混合在一起来提取信息特征,因此作者采用模块来强调沿这两个主要维度的有意义的特征:通道和空间轴。为了实现这一点,作者依次应用通道和空间注意模块,以便每个分支可以分别学习通道和空间轴上的“what”和“where”。因此,模块可以通过学习要强调或抑制哪些信息来有效地帮助网络内的信息流动。原创 2022-10-26 20:00:00 · 1225 阅读 · 1 评论 -
MetaPhys
MetaPhys 是使用卷积注意力网络为主干,通过与模型无关的元学习模式(MAML)来作为个性化参数更新模式。原创 2022-03-20 09:00:00 · 413 阅读 · 1 评论 -
MTTS-CAN
本文的作者提出了一种新的多任务时移卷积注意网络 (MTTS-CAN) 来解决非接触式心肺测量中隐私、便携性和精度的挑战。端到端的 MTTS-CAN 利用时间移位模块来执行有效的时间建模并消除各种噪声源,而无需任何额外的计算开销;注意力模块改进了信号源分离方法;多任务机制共享脉冲和呼吸之间的中间表示以同时联合估计两者。原创 2022-02-23 09:00:00 · 987 阅读 · 0 评论 -
STVEN+rPPGNet
本文的作者提出了一种使用隐藏 rPPG 信息增强和注意力网络的两阶段端到端方法,该方法可以对抗视频压缩损失并从高度压缩的面部视频中恢复 rPPG 信号。原创 2022-01-27 08:00:00 · 1494 阅读 · 1 评论 -
Meta-rPPG
本文的作者为了解决这一问题,提出了一种能够在项目部署期间执行快速适应的转导元学习器,主要是引入了一个热启动框架用于适应当前的分布,以应对分布的变化。这个热启动框架与微调的原理并不相同,因为在部署阶段是无法获取标记数据的,所以就需要引入自监督学习。通过合成梯度生成器以及原型距离最小化器来应对部署期间标记数据不可用时执行转导推理。原创 2022-01-20 08:00:00 · 3143 阅读 · 17 评论 -
Masked Autoencoders
在 ViT 模型中我们也知道了他想要有超过 CNN 的效果的话就需要在超大数据集上进行预训练,在 ImageNet 1K 的效果其实并没有 ResNet 好。这样的话,如果我们需要重新对 ViT 进行训练的话,他的效率是不高的。于是这篇 MAE 在 ViT 的方法上进行了优化,让我们能够在 ImageNet 1K 上也取得较好的效果。当然我们也可以简单的把 MAE 理解为 CV 界的 BERT 模型。下图就简单的介绍了 MAE 的操作是怎么样的。原创 2021-12-28 09:00:00 · 651 阅读 · 0 评论 -
Vision Transformer
Vision Transformer (ViT),就在图像识别任务达到了不亚于 ResNet 的精度,并且相较于ResNet 训练所耗费的时间,VIT的训练所耗费的算了减少了一大部分。由于 ViT 模型是从在 NLP 领域特别火的 Transformer 模型改编而来,并且没有对Transformer 内部进行修改,ViT主要的改变就是在输入端,将图像进行了分块和降维,从而将图像变成一种类似于词语编码的表达方式,方便了后续处理。原创 2021-12-18 13:24:03 · 6078 阅读 · 0 评论 -
Transformer
Transformer模型就完全的放弃了传统的循环结构,而是只通过自注意力机制来计算输入与输出的隐含表示。简单来说自注意力机制就是通过某种运算来直接计算得到句子在编码过程中每个位置上的注意力权重,然后再以权重和的形式来计算得到整个句子的隐含向量表示。原创 2021-12-10 09:43:50 · 1367 阅读 · 0 评论 -
Batch Norm,Layer Norm,Group Norm
在深度学习中我们通常会使用 Normalization 来对数据进行前处理,让数据在经过处理后可以满足某种特定的分布,大体上落入一定的数值范围,从而消除对数据的范围区间对建模的影响。经过归一化的数据得以让网络可以快速的进行收敛。原创 2021-12-02 23:47:12 · 498 阅读 · 0 评论