TPAMI 2024 | Contrast-Phys+: 一种通过时空对比进行无监督和弱监督视频远程生理测量的方法

最新推荐文章于 2025-06-04 00:15:00 发布
最新推荐文章于 2025-06-04 00:15:00 发布
阅读量286 收藏
点赞数
分类专栏： 论文解读 IEEE TPAMI 文章标签： 音视频 深度学习 TPAMI IEEE 顶刊论文 论文解读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42722197/article/details/141314291
版权

Contrast-Phys+: Unsupervised and Weakly-Supervised Video-Based Remote Physiological Measurement via Spatiotemporal Contrast

Contrast-Phys+: 一种通过时空对比进行无监督和弱监督视频远程生理测量的方法

Zhaodong Sun; Xiaobai Li

摘要

基于视频的远程生理测量利用面部视频来测量血容量变化信号，也被称为远程光电容积描记法（rPPG）。已经证明，基于监督的 rPPG 测量方法能够取得良好的性能。然而，这些方法的缺点是需要带有真实值（GT）生理信号的面部视频，而这些信号通常成本高昂且难以获取。在本文中，我们提出了 Contrast-Phys+，一种可以在无监督和弱监督设置下训练的方法。我们使用 3DCNN 模型生成多个时空 rPPG 信号，并将 rPPG 的先验知识纳入对比损失函数中。我们进一步将 GT 信号整合到对比学习中，以适应部分或错位标签的情况。对比损失鼓

了解本专栏 订阅专栏 解锁全文
文献笔记：Contrast-Phys: Unsupervised Video-based Remote Physiological Measurement viaSpatiotemporal Con
weixin_53939670的博客
02-19 904
提出了一种新的rPPG表示方法，称为时空rPPG (ST-rPPG)块，用于获取时空维度的rPPG信号。 基于rPPG时空相似性和跨视频rPPG不相似性四个方面的观察，提出了一种基于对比学习的无监督方法，能够很好地推广到一个新的数据集。
rPPG无监督学习简述
qq_49746822的博客
11-13 1635
心率检测无监督
【成像光敏描记图提取和处理】成像-光电容积描记-提取-脉搏率-估计（Matlab代码实现）
weixin_67304359的博客
12-25 593
CHROM的性能可能更差由于它是基于人类皮肤模型[24]的，因此需要进行额外的研究需要调整它以用于NHP中的iPPG提取。运动对iPPG质量的影响虽然我们在这里考虑了头部稳定的猴子的iPPG提取，但我们的研究对象表现出相当多的面部动作。根据iPPGs估算的脉搏率与接触式脉搏血氧计的参考数据非常一致：在83%的时间段内，脉搏率估算的误差低于个体平均脉搏率的5%；我们得出结论，iPPG允许非侵入性和非接触式估计非人类灵长类动物的脉搏率，这对于生理学研究很有用，可用于研究中的非人类灵长类动物的福利评估。
远程光电容积脉搏波描记法(rPPG)
影子
03-17 9830
远程光电容积脉搏波描记法(remote photoplethysmography，rPPG)是指通过摄像头等传感器来捕捉由心动周期造成的皮肤颜色周期性变化的技术。利用rPPG技术可以提取血液体积脉冲信号，进而测量心率、呼吸率和心跳变异性等心动周期相关的生理指标。近年基于rPPG的生理指标测量方法取得了飞速发展，准确性和鲁棒性已得到了大幅提高。该类技术的算法流程主要包括图像/视频的获取和感兴趣区域提取、血液体积脉冲信号提取和生理指标测量等步骤。 基于远程PPG(remote PPG, rPPG)的心动周期信
PhysFormer
不要錯過才珍惜
11-21 831
在本文中提出了一种用于远程生理测量的端到端视频 Transformer 架构，即 PhysFormer。通过时间差 Transformer 和动态监督使得 PhysFormer 能够在基准数据集上实现卓越的性能。基于 Video Transformer 的生理测量研究仍处于早期阶段。设计更高效的架构。提出的 PhysFormer 参数为 7.03 M，GFLOPs 为 47.01，不利于移动部署探索更准确、更高效的时空自注意力机制，尤其是对于长序列rPPG监测。
ECCV2022论文列表（中英对照）
热门推荐
dovings的博客
09-13 1万+
ECCV2022论文列表（中英对照）
2020 ECCV 所有论文及补充材料链接（一）
u014546828的博客
08-24 6917
2020 ECCV 所有论文及补充材料链接（一） 2020 ECCV 所有论文及补充材料链接（二） ----------------------------------------------------------------- Quaternion Equivariant Capsule Networks for 3D Point Clouds Yongheng Zhao, Tolga Birdal, Jan Eric Lenssen, Emanuele Menegatti, Leonidas
欧洲计算机视觉国际会议ECCR20最新论文整理分享
lqfarmer的博客
07-19 1889
ECCV的全称是European Conference on Computer Vision(欧洲计算机视觉国际会议) ，两年一次，是计算机视觉三大会议（另外两个是ICCV和CVPR）之一。每次会议在全球范围录用论文300篇左右，主要的录用论文都来自美国、欧洲等顶尖实验室及研究所，中国大陆的论文数量一般在10-20篇之间。 本文整理了2020年ECCV所有Accept的论文，论文完整版源地址：https://eccv2020.eu/accepted-papers/ 精选论文列表...
The Way to my Heart is through Contrastive Learning:Remote PPG from Unlabelled Video
m0_46792836的博客
12-31 3036
使用对比学习的方法，以零标注成本，自我监督地解决rPPG问题。同时引入一种对去同步化具有更强鲁棒性的新监督训练的损失函数。还将模型与显著性采样器耦合在一起，该采样器提供可解释的输出，以帮助确认系统是否实际按照预期执行。
WINUI——Magewell视频捕捉开发手记
bianguanyue的博客
06-03 520
因需要融合视频，并加载患者CT中提取出的气管镜与病变，以便能实时查看气管镜是否在正确位置。
Chorme如何对于youtube视频进行画中画背景播放？
落日之城
06-01 312
《如何正确开启YouTube画中画功能》摘要：与B站直接支持小窗播放不同，YouTube的画中画功能需通过特殊操作开启。用户需在视频播放界面多次尝试右键点击不同位置，从菜单中选择"画中画"选项才能实现真正的小窗播放。该功能可让视频保持悬浮播放，即使切换浏览器窗口也不会消失，解决了常规小窗模式切换窗口即关闭的问题。文中配有操作示意图辅助说明。
通过基于流视频预测的可泛化双手操作基础策略
最新发布
yorkhunter的博客
06-04 575
25年5月来自中国电信、西北工业大学和香港科大的论文“Towards a Generalizable Bimanual Foundation Policy via Flow-based Video Prediction”。 由于动作空间巨大且需要协调手臂运动，学习可泛化的双手操作策略对于具身智体而言极具挑战性。现有方法依赖于视觉-语言-动作 (VLA) 模型来获取双手操作策略。然而，从单臂数据集或预训练 VLA 模型迁移知识通常无法有效泛化，这主要是由于双手数据的匮乏以及单臂和双手操作之间的根本差异。本文
【面试】音视频面试
多媒体开发者
06-03 352
若目标设备兼容性受限（如旧款硬件），可降级为H.264。C2的MediaCodec状态机设计更简洁，减少冗余状态切换（如Flushed/Running），提升流程控制效率。与硬件交互，统一了厂商实现标准，降低了芯片层适配复杂度；早期C2版本对某些高级功能（如多路并行编解码）支持有限，OMX因历史积累在复杂场景中更稳定。，支持动态加载和配置，便于扩展新功能（如HDR、低延迟编码），而OMX需通过静态接口适配。，避免了数据拷贝带来的性能损耗，在编解码场景下显著提升效率。）动态切换框架，适配性更强。
【python与生活】用 Python 从视频中提取音轨：一个实用脚本的开发与应用
agito_cheung的博客
06-03 590
在当今数字化的时代，视频内容无处不在。无论是学习教程、会议记录、在线讲座还是娱乐视频，我们每天都会接触到大量的视频资源。有时候，我们可能只对视频中的音频部分感兴趣，比如提取讲座的音频用于后续收听，或者从电影中分离出背景音乐用于创作。这时候，能够从视频中高效地提取音轨就显得尤为重要。
B站缓存视频数据m4s转mp4
m0_52604918的博客
06-03 223
视频转换，bilibili， m4s转mp4
EasyRTC音视频实时通话助力微信小程序：打造低延迟、高可靠的VoIP端到端呼叫解决方案
EasyDSS官方技术博客
05-29 679
在数字化通信浪潮下，端到端实时音视频能力成为刚需。依托庞大用户生态的微信小程序，是实现此类功能的优质载体。
B站视频下载器 v1.0.4｜免登录下载1080P视频
2503_90908880的博客
06-01 805
▌本文由 推荐。
【第4章 图像与视频】4.4 离屏 canvas
奋斗的小猪
05-29 609
在 Canvas 开发中，我们经常需要处理复杂的图形和动画，这些操作可能会影响页面的性能和用户体验。为了解决这个问题，现代浏览器引入了 OffscreenCanvas 接口，它允许我们在后台线程（Web Workers）中进行画布操作，从而提高性能和响应速度。
基于多模态脑电、音频与视觉信号的情感识别算法【Nature核心期刊，EAV：EEG-音频-视频数据集】
weixin_42380711的博客
05-29 1247
DatabaseLanguageSubjectsTypesS, ISEED-IV11EEG and EMVideosS, IDREAMER10EEG & ECGMoviesS, IMPED9VideosS, IASCERTAIN8VideosS, IAMIGOS7MoviesS, IDEAP12S, IIEMOCAP15EnglishS, ISEMAINE16EnglishS, INNIME19ChineseP, NRAVDESS20。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小白学视觉

您的赞赏是我们坚持下去的动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值