局部最大间距嵌入(Local Maximum Margin Embedding, LMME)是一种流形学习技术,它结合了局部保持投影(LPP)和最大间距准则(Maximum Margin Criterion, MMC)的优点。

LMME的目标是在降维过程中保持数据的局部结构,同时最大化不同类别之间的边缘(margin),以增强分类性能。

核心思想

LMME试图在低维嵌入空间中找到一个表示,该表示能够同时满足以下两个条件:

  1. 保持局部结构:确保数据点与其邻近点的关系在降维后得以保持
  2. 增强判别能力增大不同类别之间的距离同时缩小同一类别内部的距离。
目标函数

LMME的目标函数可以表示为:

经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_学习方法

其中:

  • 经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_邻接矩阵_02投影矩阵,用于将原始数据 经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_学习方法_03
  • 经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_学习_04类内散度矩阵,表示同一类别内部数据点的差异。
  • 经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_特征值_05类间散度矩阵,表示不同类别之间数据点的差异。
  • 经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_特征值_06正则化参数用来平衡局部结构保持和判别信息增强之间的关系。
公式解析
类内散度矩阵 经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_邻接矩阵_07

类内散度矩阵 经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_邻接矩阵_07 反映了同一类别内部数据点的分布情况。
在LMME中,经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_邻接矩阵_07 可以基于局部保持投影(LPP)的思想来构建,即通过邻接矩阵 经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_embedding_10 和度矩阵 经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_特征值_11

经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_embedding_12

其中:

  • 经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_学习方法_13 是一个对角矩阵,其对角线元素为 经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_邻接矩阵_14
  • 经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_邻接矩阵_14邻接矩阵,如果 经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_学习_16经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_特征值_17 在局部邻域内,则 经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_邻接矩阵_18,否则 经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_embedding_19
类间散度矩阵 经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_邻接矩阵_20

类间散度矩阵 经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_邻接矩阵_20 则体现了不同类别之间的差异,其计算方式通常与线性判别分析(LDA)相似:

经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_embedding_22

其中:

  • 经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_embedding_23类别数
  • 经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_embedding_24 是第 经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_学习_16 类的样本数量。
  • 经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_学习_26 是第 经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_学习_16 类的样本均值向量。
  • 经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_embedding_28所有样本的总体均值向量。
优化问题

LMME的优化问题可以通过求解广义特征值问题来解决:

经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_邻接矩阵_29

通过求解此特征值问题,我们可以找到 经典子空间学习的多视图学习方法——局部最大间距嵌入(Local Maximum Margin Embedding, LMME)_embedding_30,即投影矩阵它能够同时保持数据的局部结构,并且增强不同类别的可分性。

小结

局部最大间距嵌入(LMME)是一种流形学习方法,它在降维的同时兼顾了数据的局部结构保持和分类性能的增强。

通过平衡类内散度和类间散度,LMME能够在低维空间中提供更好的数据表示,这对于后续的分类任务非常有利。