AI变身家庭看护，准确识别家人行为才是关键

如果有一款机器人能够帮你看护家人，判断其是否正常吃饭、是否保持最低的运动量、是否出现摔倒等异常行为，并及时给予提醒，相信这样的机器人一定能够安抚你在外工作时挂念家人的紧张心情。

智能系统在特定场景下准确识别人体的动作姿态，并对人体姿态进行分类，在人工智能研究领域，这一技术被称为人体行为识别，是智能监控、人机交互、机器人等诸多应用的一项基础技术。

众多AI企业看到了家庭看护的市场需求，并推出相应的产品布局家居场景。例如，百度推出了针对家庭看护场景的危险行为识别技术。该技术可以针对5秒内的单人、双人场景的监控视频片段，识别摔倒、砸东西、拉扯、推搡、踢踹等常见危险行为。

华为云也提供了家庭视频监控解决方案：通过部署海雀AI全景摄像头，提供实时线上查看能力。通过AI行为识别、自动报警等功能，极大程度上解决了家庭看护问题。

海雀AI全景摄像头具有行为识别的功能

从广义的角度看，人体行为大体可分为正常行为和异常行为两大类。家居场景下的正常行为包括吃饭喝水、开关门、起立坐下、躺坐在沙发或床上、写作业和办公、做饭等等。异常行为通常包括老人儿童的摔倒、磕碰、打架等行为。

由于行为自身的复杂性，行为识别的任务通常需要多项AI技术协同完成，如此才能准确识别人体行为、及时对发生的异常事件进行报警并对家庭人员生活状态提出建议。

总的来看，人体行为识别的实现具体涉及到以下几种AI技术。

· 人体关键点检测：又称为人体姿态估计，是计算机视觉中一个相对基础的任务，是人体动作识别、行为分析、人机交互等的前置任务。

· 人体语义分割：人体分割用于识别输入图像中的人体轮廓，与背景进行分离，能够辅助关键点定位。例如Mask R-CNN算法，它不仅可对图像中的目标进行检测，还可以对每一个目标给出一个高质量的分割结果。

· 行人重识别（Re-id）：是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。这一技术能够弥补固定的摄像头的视觉局限，并可与行人检测技术相结合，可广泛应用于智能视频监控领域。在家庭安防场景下，这一技术能够帮助等确认具体的家庭成员。

· 人体属性识别：确认家庭成员的年龄、性别等信息。例如旷视的Face⁺⁺ Human Body Detect API，能够检测传入的图片中的人体，针对每个检测出的人体，可以返回其人体矩形框坐标，及其人体属性值。

· 人体跨摄像头跟踪：跨摄像头跟踪技术可以在ReID识别的基础上准确跟踪目标的移动路线，然后绘制完整的行进轨迹，对于目标的行为轨迹进行整合。

行为识别需要多项AI技术协同完成，图片来自百度

算法的进步固然能提升人体行为识别的准确率，但离开了数据的支持算法的进步也无从谈起。正是由于数据的重要地位，诸多AI企业都致力于开发优质的人体行为识别训练数据集。

数据堂作为全球领先的人工智能数据服务提供商，依托自身的数据资源、技术优势和丰富的数据处理经验，在深刻理解家居安防场景的基础上，设计并研发了《466人18,880张3D人体实例分割及人体22关键点标注数据》。

3D人体实例分割及人体22关键点标注数据样例，已获得被采集人授权

该数据由233位男性和233位女性参与录制，其中未成年人299人，成年人167人。数据堂与被采集者签署了授权书或电子授权书，保障了数据的安全合规。

工作人员用RealSense Depth Camera D435i采集了多种光照条件下、多种姿态的人体3D图像，深度图和彩色图已经过配准操作。标注人员对人体实例分割和22关键点进行标注，点位置误差在x，y方向均在3个像素内；按标注部件为单位，抠图标注准确率95%以上；按关键点为单位，标注准确率高达95%。

目前，家居场景下的人体行为识别仍面临着一些挑战：多种相似动作难以识别，衣着的变化、视角的变化等视觉原因也为人体行为识别带来了困难。

提升家居场景下人体行为识别技术的准确性预测，技术革新之路还很漫长。将现有的简单姿势进行较为科学合理的扩展, 进行更深层次的研究已经成为了未来固定场景下人体行为识别发展的重要方向。