神经科学研究所开发AI动作捕捉工具 以高精准度追踪动物动作

我们都看过好莱坞电影中的「动作捕捉」场景，透过贴满传感器的全身套装追踪动作，计算机能够将演员变成巨人或野兽，而在现实生活中，普林斯顿神经科学研究所（PNI）也已开发出一套 AI 工具，只需要几分钟的训练，便能像演员穿戴传感器一样，在现有影片中自动追踪动物的动作细节，协助动物肢体语言的研究进行。

文章转自： 胜博发一起公益

这项被称为 LEAP 的工具只需要几分钟的训练，不需添加任何物理标记或卷标，就能够以，以高精准度自动追踪影片中数百万帧动物各个身体部位的姿态，分子生物学副教授 Mala Murthy 表示，「这个方法可广泛用于动物模型系统，用来衡量有基因突变或药物治疗后动物的行为」。

尽管论文预计会发表在 2019 年 1 月出版的《自然-方法》（Nature Methods）期刊上，但因为 5 月已经发布开放版本，目前软件已经被被许多相关实验室采用。

论文第一作者、PNI 研究生 Talmo Pereira 表示，这个工具非常灵活，原则上可用于任何影像数据，「它的工作方式是在几个影片中标记几个点，接着神经网络会完成剩下的工作。我们提供了一个易于使用的界面，让任何人无需任何预先的编程知识，都可以将 LEAP 应用到自己的影片中。」

当被问及 LEAP 是否在大型哺乳动物的效果和在受试的苍蝇和老鼠一样好时，Pereira 立即使用肯尼亚 Mpala 研究中心的行走的长颈鹿影片进行示范，花了不到 1 个小时在 30 帧中标记了点，而 LEAP 随后便能立即追踪剩余影片中的长颈鹿动作姿态（大约 500 帧）。

过去类似的 AI 工具都仰赖大量的手动注释数据训练，使其能够在各种不同背景、光线的数据上工作，而在 LEAP 上因为开发团队建立的系统，用户可以选择适合用户收集的数据类型的神经网络，而不会受到其他研究人员或公司进行项目的限制。”

在未参与研究英国皇家兽医学院（RVC）Monica Daley 看来，这项工作在神经科学之外也具有巨大的潜力。Daley 的多数研究都在了解动物如何在不同的地形环境下有效地移动，而这当中做大的挑战便是从影片片段中提取有意义的讯息，LEAP 有望让相关研究者的工作变得比以往更自动化，能够专注于研究更多种类的动物运动行为。

当研究者将 LEAP 与其他定量工具相结合后，便能透过观察动物身体运动模式来研究所谓的「肢体语言」，而团队内的神经科学家也就可以与背后的神经过程建立相关联系。

过去五年中，神经科学在观察和操纵大脑活动的技术上取得了巨大进步，而在 LEAP 的协助下，未来动物行为的自动分类也能够更加自动化，研究作者之一的 Joshua Shaevitz 认为，这不仅能使研究人员更好地了解大脑如何产生行为，也能够探索未来对于需求者的诊断和治疗方法。

转载于:https://juejin.im/post/5c232a4ee51d45538150ea1d