一种用于室内婴儿的视觉监控方法
摘要
我们提出了一种用于检测房间内婴儿(学龄前儿童)事故前状态的方法。婴儿的意外事故主要与房间内的物体相关,例如从椅子上跌落、加热器引起的烧伤、误食等。因此,该方法通过视频图像识别房间内每个婴儿的状态(位置、姿势和动作),结合房间模型分析婴儿与指定物体(地点)之间的关系,进而检测婴儿的事故前状态,例如接近危险区域、在关键位置失去平衡以及接触不安全物体。
索引术语
视觉监控, 婴儿, 意外事故, 事故前状态, 房间模型
一、引言
近年来,婴儿(学龄前儿童)经常需要呼叫救护车,其中最常见的原因之一是房间内的意外事故[1]。能够检测房间内婴儿的事故前状态并向其周围成年人发出警告的系统,将有助于防止婴儿发生此类意外事故。
已有多种方法被提出用于监测老年人在房间内的健康与安全状况[2],[3]。其中大多数方法通过老年人的姿势和动作(如跌倒或蹲下)来检测异常情况。与老年人的姿势和动作相比,婴儿的姿势和动作更加多样化。因此,仅通过姿势和动作来检测婴儿的异常情况较为困难。此外,房间内婴儿的意外事故主要与附近物体有关,例如从椅子上跌落、加热器引起的烧伤以及误食[4]。因此,现有未考虑人员与附近物体关系的监控方法无法适用于检测房间内婴儿的事故前状态。
本文提出了一种针对房间内婴儿的视觉监控方法。该方法通过视频图像识别房间内婴儿的状态(位置、姿势和动作),结合房间模型确定每个婴儿与指定物体(地点)之间的关系,进而检测婴儿的事故前状态,例如接近危险区域、在关键位置失去平衡以及接触不安全物体,如图1所示。该方法不仅考虑了婴儿的姿势和动作,还考虑了婴儿与附近物体之间的关系,有望有效检测房间内婴儿的事故前状态。
II. 相关工作
针对包括婴儿在内的人员状态监测,已提出多种方法。
[5]中的方法通过使用压力分布床垫的压力模式来对婴儿的姿势进行分类。[6]中的方法通过使用安装在婴儿身体上的惯性与磁测量单元以及压力分布床垫的数据来估计婴儿的姿势。这些使用摄像头以外多种传感器的方法仅能应用于受限环境。此外,尽管这些方法能够获取婴儿的状态,但无法获取婴儿与附近物体之间的关系。
视觉监控方法利用摄像头作为传感器,不仅被提出用于老年人,也适用于婴儿。文献[7]中的方法通过学习老年人的姿势来检测跌倒情况。文献[8]中的方法通过学习事故场景图像来预测婴儿事故。这些视觉监控方法可应用于多种环境,并能够获取人与附近物体之间的关系。然而,现有的方法并未考虑人与附近物体之间的关系,因此无法有效检测与物体相关的婴儿事故前状态。
III. 房间内婴儿的视觉监控
在所提出的方法中,首先从视频图像中识别房间内婴儿的状态,然后参考房间模型确定婴儿与指定物体(位置)之间的关系,最后检测婴儿的事故前状态。
图像中的位置用 U‐V坐标表示,房间中的位置用 X‐ Y‐Z坐标表示,其中房间的地板设为 Y= 0。假设摄像机在房间中的位置已知,且摄像头已预先校准。
A. 构建房间模型
将婴儿生活的房间建模为不同大小的盒子(长方体)的组合。整个房间用最大盒子进行近似。房间中的大型物体(例如家具和斜坡)分别用小盒子进行近似,并放置在最大盒子内部。
通过指定与某些物体(如加热器和电风扇)相对应的盒子来表示其周围的危险区域位置。对于其他类型的危险区域,如窗户、门和墙壁插座,它们的位置直接标注在最大盒子的内表面上。
B. 识别婴儿状态
近年来,人体检测技术取得了巨大进展,使我们能够从图像中准确提取人体部位。通过使用其中一项技术(OpenPose [9]),从视频图像中提取每个婴儿的骨骼(一组身体部位关键点)。
通常,一些提取的关键点几乎会接触到房间内的表面(例如地板、桌面、椅子座位)。它们在 X‐Y‐Z坐标系中的位置可根据其在 U‐V坐标系中的位置计算得出。对于其他关键点,通过参考婴儿标准比例,从其在 U‐V坐标系中的位置估计其在 X‐Y‐Z坐标系中的位置。因此,可识别出房间内每个婴儿的状态(位置、姿势和动作)。
C. 确定婴儿与物体的关系
通过参考房间模型,根据婴儿状态确定每个婴儿与房间内指定物体(地点)之间的关系。根据所确定的关系,可以检测婴儿的事故前状态,例如接近危险区域、在关键位置失去平衡以及接触不安全物体。
房间模型中包含了家具和斜坡等大型物体,但未包含别针、剪刀、掉落的香烟等小型物体。通过应用背景减除技术[10],,可以确定这些小型物体的动作。因此,通过婴儿与小型物体之间的动作关系,可检测到误食等意外事故。
IV. 初步实验
作为初步实验,我们采用所提出的方法进行婴儿位置和姿势识别。在实验中,使用了一个58厘米高的婴儿玩偶,并将一个摄像头设置在距离玩偶240厘米处。通过所提出的方法估计玩偶的位置和姿势,从估计结果中获取其在地板(X‐Z平面)上的凸包区域,并计算该区域与真实值之间的交并比(IoU)。
实验结果(四种姿势)如图2所示。尽管坐和站立姿势的交并比(IoU)不是很高,但所提出的方法可用于检测婴儿接近危险区域的事故前状态。
五、结论与未来工作
本文提出了一种针对房间内婴儿的视觉监控方法。通过不仅考虑婴儿的姿势和动作,还考虑其与附近物体的关系,该方法有望有效检测房间内婴儿的事故前状态。通过初步实验,我们确认了所提出的方法能够从视频图像中识别婴儿的状态。我们计划基于所提出的方法实现一个原型系统,并评估该方法在检测房间内婴儿事故前状态方面的有效性。