由于真实世界中数据的多样性和复杂性,经常将数据嵌入到流形结构中表示,这使得传统的基于欧氏空间的机器学习方法变得无效。于是会不可避免地提出这样的疑问—是否存在某种方法:既能够利用流形结构表示数据的便捷性,又能够寻找到相应的可计算模型?对此,流形学习的许多尝试给出了肯定的答案以及两点启发:
(1)可以利用流形的性质,对传统的基于欧氏空间的机器学习方法进行修改,使其适用于流形空间;
(2)依据流形的结构,将其映射到欧氏空间中,再运用传统的机器学习方法处理问题,然而在实际情况中,流形的结构经常无法把握,可用的流形性质经常也无法确定,寻找流形到欧氏空间的映射往往十分困难,并且很多时候仍需要寻找另一个映射将欧氏空间的计算结果映射回流形空间中。这些问题无疑都大大增加了实际操作中的难度。一个不错的选择是寻找某种特定的流形:一方面,它能够自然地对数据或其特征进行表示;另一方面,它具有许多优良的性质能为计算所用。
李群机器学习与传统机器学习方法的不同是:李群机器学习采用李群结构对数据或特征进行表示并利用群作用来处理对数据的操作,微分流形的几何性质可以用来便捷地描述数据,群的代数性质能够提供具体的求解方案,这使得李群机器学习的思想得以形成。
为什么选择李群结合机器学习任务:
李群是变换的自然表示
许多模式识别的任务依赖于数据在变换下的不变性问题。因此,在实际应用中经常需要用到“变换”这一概念,例如图像不变性、刚体运动估计等。当需要描述的是变换本身时,所涉及的操作是变换的结合而不是单纯的对变换进行加法或数乘。因此直观上能够理解:采用群这种代数结构来表示变换要比线性空间更加合适。
李群与李代数能够相互转换
矩阵群属于李群
在模式识别的诸多应用中,尤其是在计算机视觉领域中,经常采用矩阵来存储数据或表示特征。非奇异实方阵在矩阵乘法下构成一般线性群,一般线性群的所有子群构成矩阵群,并且矩阵群具有李群结构。所以诸如仿射群、旋转群、协方差矩阵群这种在人工智能中常见的矩阵群都属于李群。
至于如何学习的话:
李群机器学习一般分为两种学习模型,即几何模型与代数模型。李群机器学习的几何模型利用李群微分流形的性质,致力于学习系统的表示与度量;李群机器学习的代数模型利用李群和李代数之间的相互转换,将向量空间的算法拓展到流形空间。
依据两种学习模型,可以概括李群机器学习算法的一些基本思路:一方面,可以利用李群的几何性质来设计算法,包括李群的表示与度量、拓扑性质、流形学习等;另一方面,可以将李群映射到李代数空间,从而能够移植传统的基于向量空间的算法。
学术咨询
担任《Mechanical System and Signal Processing》《中国电机工程学报》等期刊审稿专家,擅长领域:信号滤波/降噪,机器学习/深度学习,时间序列预分析/预测,设备故障诊断/缺陷检测/异常检测。