Nicolas Gillis PhD Thesis
Chapter 3 Nonnegative Rank
-
存在两个open的问题,对于非负矩阵分解M=UV:
当矩阵M的秩固定时,NMF的复杂度如何?
当两个矩阵印子UV的值固定时,NMF的复杂度如何?
-
exact NMF 问题:
- 给定一个非负m*n矩阵M,其秩为r,如果可能,找到两个非负矩阵因子U,V,其维度分别为m*r,r*n,并且有M=UV。
- exact NMF 问题有以下几个结论:
- 当rank(M)=1时,任何秩为1的非负矩阵M都可以被分解为两个非负矩阵U,V的乘积
- 当rank(M)=2时,任何秩为2的非负矩阵M都可以被分解为两个秩为2的非负矩阵U,V
解释:讲矩阵M的每一列看做一个元素,秩为2则其每一列都可以在一个2维子空间上被表示,也即每列都可以用两个非负向量进行表示。并且,这两个extreme vector能够在多项式时间内计算出来。
-
针对rank-1 NMF,目前有以下理论:
- rank-1 NMF能够在多项式时间内解决;
- 非负矩阵M的左右主奇异向量都是非负的(SVD:M=UΣVT,U中向量称为左奇异向量,V中向量称之为右奇异向量)https://www.cnblogs.com/fionacai/p/5767973.html;
- 主奇异向量的外积是M最好的rank-1 近似
- 这些向量能够在多项式时间内被计算
-
对于rank-2 NMF:
- 当矩阵M的最优rank-2近似为唯一且非负时,rank-2 NMF问题能够在多项式时间内解决
- 实际上,rank-2 NMF经常不满足非负性,因为M中有很多相当小的元素
- 因此rank-2 NMF的复杂性未知;并且对于任何秩大于2的固定因子分解,复杂度都是未知的
-
松弛法
对于高斯-赛德尔迭代法,首先求得第k+1次迭代值,然后计算第k+1次、第k次迭代值之差,之后再第k次迭代值的基础上,直接加上这个差的一个倍数ω,作为实际第k+1次的迭代值,其中,ω成为松弛因子。
当ω>1时,成为超松弛法,次数加大了第k+1词迭代的比重;当ω<1时,称为亚松弛法或低松弛法;当ω=1时,就是普通的高斯-赛德尔迭代法。
矩阵形式go forhttps://baike.baidu.com/item/%E6%9D%BE%E5%BC%9B%E6%B3%95
-
Restricted Nonnegative Rank:rank+*(M)
对于非负矩阵M,存在一个最小的正数k,使得存在UV(维度与前文相同省略),使得M=UV,并且rank(U)= rank(M),也即col(U)= col(M)。
一般计算受限非负秩,以及相关的非负矩阵分解因子UV,使得M=UV,并且rank(U)= rank(M)= r。
做上面计算的原因在于:1)为寻找非负秩提供了新的上界: 2)受限非负秩能够更容易的计算
求解受限非负秩与rank-2 NMF不同,当时,计算受限非负秩可以在多项式时间内解决;对于,是NP-难的。
-
Nested Polytopes Problem
对于一个多面体空间P,其中存在一些点构成的集合S,这些点不在任何超平面上。试图找到包含点数量最小的集合,使得这些点的凸包(convex hull)T包含S,也即
-
Intermediate Simplex
给定一个有界的多面体,有,P中存在一个包含n个点的集合S,S中所有的点不属于任何一个超平面,,是否存在个点,使得这个点的凸包T包含S,也即,是否存在一个包含r个点的多面体T使得有?
Intermediate simplex问题是NPP问题的一个特殊情况,即是否k等于r(r是最小的点数量)。也即,是否存在一个单纯形T(定义在r-1维空间上的r个点),包含在P中,且包含S
Th3.1 从 Exact NMF 到 IS问题存在一个多项式时间的reduction(化简),反之亦然。(IS is NP-hard using a reduction from 3-SAT)
Th3.2 从 RNR 到 NPP 也存在一个多项式时间的reduction(化简),反之亦然。
Question:
1.P28 为何M的列是按归一化的,则A至少有一列和不为0?
2.P28 为何因为A的每一列都是归一化的,则有M是列stochastic的,并且B也是按列归一化的?