机器人的视听觉交叉感知技术研究

机器人的视觉和听觉是环境感知的主要信息来源，视听觉交叉感知技术的研究涉及了生物医学、脑神经科学、机器人智能技术、信息科学等多个研究领域。本文在对人的视听觉交叉感知机制的研究基础上，通过对机器人声源定位系统、机器人视觉的目标检测、识别和双目测距功能实现，设计机器人的视听觉交叉感知模型，实现对环境的视听觉信息感知。

在声源定位方面，研究了基于人的双耳定位模型的时延估计定位算法。传统的时延估计算法模拟了耳蜗内毛细胞的滤波功能以及上橄榄复合体的定位机制，忽略了大脑听觉皮层--下丘通路的反馈机制。在机器人声源定位中，在基于广义互相关定位算法中引入了模拟听觉皮层整合机理的神经网络算法，利用RBF神经网络良好的泛化能力与学习收敛速度，将广义互相关算法得到的声源坐标通过训练好的神经网络进行非线性误差矫正，提高声源定位算法的精度。通过实验验证，改进的声源定位算法在满足时间复杂度情况下，精确度得到一定的提高。

在视觉感知方面，仿照人的两条视觉通路，设计机器人的视觉感知模型。在what通路，对基于视觉感知机理的HMAX模型以及改进模型进行详细分析并抽象出特征模型，针对存在的计算时间复杂度高，识别率低的缺陷，提出改进的视觉感知模型，包括机器人的目标检测和目标识别。在目标检测方面，根据HMAX模型分层介绍检测算法，实现目标的快速准确检测。在S1层滤波器的选择，小波替换Gabor滤波，然后在C1层利用SVDP特征提取算法替换最大化模板方法，在VTU识别层利用稀疏表示的分类算法。实验验证目标识别算法的鲁棒性；在where通路，根据人的视觉空间感知机制，设计机器人的双目测距模型，利用双目摄像头的焦距和三角定理实现视野内目标的定位。最后，通过仿真实验验证算法的有效性。

机器人视听觉交叉感知机制，主要应用到目标的空间定位功能，针对空间内的物体，融合听觉和视觉完成空间位置的感知。利用仿真实验，验证本论文提出的机器人注意机制能够实现空间目标的感知。

随着现代工业的迅速发展和技术的革新换代，人类对机器工业的需求变得越来越大，迫切要求技术的不断发展和创新。在这种工业发展的促使下，机器人的发展也从传统的工业领域向其他领域进行延伸和扩展，比如军事、医疗、救险等行业^[1]。同时，类人化已经成为智能机器人发展的必然趋势。类人机器人是具有思维感知和人工智能，微电子学，光学，传感技术、材料科学、仿生学等学科的综合成果。人类不仅希望机器人能够使人类从繁重、危险的工作中解脱出来，更希望机器人能具有人类的思维感知能力去识别所处环境并且可以解决问题。面对瞬息万变的周围环境，类人型机器人需要更加智能化的信息处理能力和适应能力。

随着人们对计算机视觉的研究深入，一些视觉系统被应用到移动机器人上提高机器人环境感知的能力。机器人的视觉技术通过视觉来进行环境的探测，比如视觉导航^[2]和目标侦测等^[3]。但视觉技术总会受到光照、遮挡等因素的干扰，将会很大影响识别的结果。为了降低视觉的影响因素，仿真人类的听觉系统，研究了机器人的听觉技术，为机器人感应外界环境提供了巨大的帮助。听觉技术不会受到阻挡等因素的干扰，会通过声音采集装置对外界环境中声源进行探测，实现对环境的感知。但在感知外界环境过程中，目标并非全部都会发出声音。除此之外，声音中掺杂的噪声会很大程度上影响识