DeepLabCut简介
英国《自然-神经科学》期刊上发表的一篇论文,介绍了一种经过深度学习训练后,实现自动捕捉动物运动的软件DeepLabCut。其精细程度可以跟踪果蝇产卵、伸吻,以及小鼠每一个脚趾的轨迹。美国哈佛大学团队运用一种新型深度学习算法,成功追踪动物运动及行为,其准确度可达到人工水平,而且无需采用追踪标记物或进行费时的手动分析。专家认为,这一成果打开了海量的数据来源之门。
开发该款软件的美国哈佛大学神经科学家夫妇Mackenzie Mathis和Alexander Mathis原本打算研究小鼠对气味的追踪行为,需要在视频里对小鼠鼻头进行标记跟踪。然而,他们没有找到现成的便捷工具,神经科学家常用的闪光标记物也难以用在微小的鼠头上,由此萌生了自己编一款软件的想法。他们选择了一款用于识别人类照片的深度学习框架,改造到动物身上。
Mathis团队首先利用一个大型目标识别图像数据库ImageNet对DeepLabCut进行了预训练,教会系统如何区分不同动物,并识别具体的身体部位,比如小鼠的爪子、斗鱼的鱼鳍。这样可以大大节省后续训练所需的数据。接着,他们教会系统不仅是跟踪某一个身体部位,而是同时捕捉所有的标记部位。这能辅助彼此间的精确定位。最后,团队进行了跨物种的检验和校准,在论文中演示了对果蝇和小鼠两种物种的动作跟踪。
进一步展望未来,原本昂贵而费尽的动作捕捉技术会飞入寻常百姓家。譬如,现在只有顶级运动员才能享受动作捕捉技术,且需要专业人士进行