将21范数应用到NMF的一篇论文,写的有些简略,后面有时间再补充
Abstract
- 非负矩阵分解(NMF)是用于数据分析的应用最广泛的聚类技术之一。
- 由于目标函数中含有每个数据点的平方残差误差,因此易受极端值影响。
- 本文提出鲁棒流形非负矩阵分解(RMNMF)方法,使用21范数,并在相同的聚类框架下集成NMF和谱聚类。
- 本文还指出了现有NMF方法的解决方案唯一性问题,并提出了一个额外的正交约束来解决这个问题。
- 通过基于增广拉格朗日方法(ALM)解决了困难的优化问题。
- 本文还介绍了本文方法和鲁棒K-means方法以及谱聚类的联系,并证明了理论意义。
INTRODUCTION
- NMF应用很广泛而且效果很好,但是存在以下几个问题:1. 必须限制矩阵元素为非负的,限制了在一般数据集上的应用与可解释性;2. 每个数据点的误差被平方,鲁棒性较差;3.无法发现数据本身的流型与结构。
- 为了解决现有NMF方法中的这些缺点,本文提出了鲁棒流形非负矩阵分解(RMNMF)方法
- 创新之处在于:1. 在谱聚类中应用21范数提高鲁棒性; 利用21范数的旋转不变性增强聚类性能;2.结合了一个流形正则化项对数据中可能存在的几何信息进行编码;3.推导了新的优化算法
ORTHOGONAL MANIFOLD NMF
Semi-NMF via 21 Norm
- 将标准Semi-NMF由 min G ≥ 0 ∥ X − F G T ∥ F 2 \min_{G\ge0}\|X-FG^T\|_{F}^2 minG≥0∥X−FG