局部最大间距嵌入(Local Maximum Margin Embedding, LMME)是一种流形
学习技术,它结合了局部保持投影
(LPP)和最大间距准则
(Maximum Margin Criterion, MMC)的优点。
LMME的目标是在降维过程中保持数据的局部结构,同时最大化不同类别之间的边缘
(margin),以增强分类性能。
核心思想
LMME试图在低维嵌入空间中找到一个表示,该表示能够同时满足以下两个条件:
- 保持局部结构:确保数据点与其邻近点的关系在降维后得以
保持
。 - 增强判别能力:
增大不同类别之间的距离
,同时缩小同一类别内部的距离。
目标函数
LMME的目标函数可以表示为:
其中:
是
投影矩阵
,用于将原始数据是
类内
散度矩阵,表示同一类别
内部数据点的差异。是
类间
散度矩阵,表示不同类别
之间数据点的差异。是
正则化参数
,用来平衡局部结构保持和判别信息增强之间的关系。
公式解析
类内散度矩阵 ![经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_邻接矩阵_07](https://math-api.51cto.com/?from=%20%20%20%20%20%20%20%20S_w%20)
类内
散度矩阵 反映了
同一类别
内部数据点的分布情况。
在LMME中, 可以基于
局部保持投影
(LPP)的思想来构建,即通过邻接矩阵
和度矩阵
其中:
是一个
对角矩阵
,其对角线元素为是
邻接矩阵
,如果和
在局部邻域内,则
,否则
。
类间散度矩阵 ![经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_邻接矩阵_20](https://math-api.51cto.com/?from=%20%20%20%20%20%20%20%20S_b%20)
类间
散度矩阵 则体现了
不同类别
之间的差异,其计算方式通常与线性判别分析
(LDA)相似:
其中:
是
类别数
。是第
类的样本数量。
是第
类的样本均值向量。
是
所有样本的总体均值向量。
优化问题
LMME的优化问题可以通过求解广义特征值
问题来解决:
通过求解此特征值问题,我们可以找到 ,即
投影矩阵
,它能够同时保持数据的局部结构,并且增强不同类别的可分性。
小结
局部最大间距嵌入(LMME)是一种流形学习方法,它在降维的同时兼顾了数据的局部结构保持和分类性能的增强。
通过平衡类内散度和类间散度,LMME能够在低维空间中提供更好的数据表示,这对于后续的分类任务非常有利。