多只动物3D姿态估计与行为识别系统

动物社会行为的量化是动物科学研究的重要步骤。虽然现有的深度学习方法已经实现了对常见动物的精确姿态估计、识别和行为分类，但由于缺乏注释良好的数据集，其应用依然受到挑战。因此该研究展示了一个计算框架，即社会行为图谱（SBeA，Social Behavior Atlas），用于克服由有限数据集引起的问题。SBeA使用数量很少的 labelled frames 进行多个动物的3D姿态估计，实现后续的无标签识别。SBeA被证实可以揭示先前被忽视的自闭症障碍基因被敲除小鼠的社会行为表型（social behaviour phenotypes）。结果还表明，使用现有的数据集，SBeA可以在各种物种中实现高性能。这些发现突出了SBeA在神经科学和生态学领域量化微妙社会行为的潜力。

来自：Multi-animal 3D social pose estimation, identification and behaviour embedding with a few-shot learning framework

背景概述

动物建模在动物社区研究中起着重要作用。然而，难以捕捉到它们特定的行为作为生物标志物阻碍了我们的理解。解读动物社会行为的最大挑战是物种内的外观相似性。区分他们身份的一种直接方法是通过body markers，如射频识别设备。另一种方法是将深度信息与RGB图像相结合，以减少由遮挡引起的识别误差。最近，基于深度学习的多动物跟踪方法，如multi-animal DeepLabCut、SLEAP和AlphaTracker，一直在避免对body markers和depth information的依赖。它们通过使用连续运动或外观的特征来保持动物身份。尽管深度学习多动物姿势估计、身份识别和行为分类的这些进展在社会行为分析中表现出了良好的性能，但它们在各种实验场景