乘法更新规则对于并发的非负矩阵分解和最大间隔分类

摘要：使用非负矩阵分解的分类方法，使用两个连贯的独立步骤，第一个是完成数据转变（降维），第二个使用分类方法分类转变后的数据，例如最近邻/中心 或者支持向量机。接下来我们关注在使用NMF接着SVM分类。这两步骤的参数，也就是NMF基/相关系数和支持向量都是独立优化的，这样导致一个自由化分类表现。在本文汇总，合并两个步骤到一个通过合并最大间隔分类约束到标准的NMF优化中。在提出的框架后面的概念是去完成非负矩阵分解，同时确保两类别之间的投影数据之间的间隔最大。并发 NMF分解和支持向量优化通过一系列乘法更新规则来优化。在相同内容中，最大间隔分类约束被加到NMF问题使用额外的判别约束和各自的乘法更新规则被提取。最大间隔分类约束在NMF分解问题上的影响被解决。
1简介
（NMF部分先不谈）在原始数据完成NMF之后，分类方法例如SVM可以应用到投影数据上。SVM找到在高维投影空间中的超平面，该超平面具有最大距离到最近的每个类别的投影数据。这个超平面称为最大间隔超平面。SVM是最大间隔分类器。在NMF例子中，SVM优化一个目标函数在具体的约束下。在线性分类的例子中，SVM的方程优化问题仅仅取决于数据的点乘。通过应用核技巧，数据被投影到一个转化后的特征空间和点积被一个非线性核函数取代。最大间隔超平面在特征空间仍然是线性的，但是构成一个非线性平面在原始数据空间。因此完成非线性数据分类。SVM分类器的支持向量的个数通过可分离case 近似(separable case approximation)SCA算法减少。SCA首先计算Vapnik’s SVM解在训练数据。然后训练数据被修改以便于可分离。最后SVM在修正后的训练数据上重新计算。并且SVM结合独立成分分析（ICA）为了完成降温工作。
有两种方式选择分类模型。In-sample 和out-of-sample 。 In-sample 方法对于模型选择和误差估计使用相同的数据，然而out-of sample 方法使用两个分离的数据集对于训练和验证分类模型。分类模型的大部分是基于out-of-sample方法选择的。在【11】引入了两个in-sample方法对于模型选择和SVM误差估计，基于数据以来的结构风险最小（SRM），好过out-of-sample 方法，其只有一小部分数据是可用的。
在本文我们解决数据表达的问题和分类优化问题到一个新的统一的框架，也就是我们的目标是找到NMF数据投影并且最大化SVM分类器分类精度。更精确的，我们结合NMF优化问题和SVM优化的对偶公式到一个单目标函数，在非负约束和系数矩阵和SVM的拉格朗日乘子。使用一个辅助函数并最小，对于NMF基核系数使用乘法更新法则，SVM的拉格朗日乘子被提出。进一步，我们增加判别式NMF（DNMF）的Fisher约束，得到更好的分类结果。
2相关工作
一些NMF修正存在，合并一些额外约束到NMF初始问题，为了增强判别能力。在DNMF中，增加Fisher约束到原NMF损失函数中。Fisher约束最大化平均类别值之间的距离，并最小化数据投影到降维空间后的类别松散度。在脸部表情识别数据集上的实验显示由DNMF产生的基图片组成基于部分表达的人脸，更好的对应了直觉上脸部地区的概念，例如嘴唇，眉毛。在【13】中引入了Fisher约束称为Fisher NMF(FNMF)。在【14】主成分分析约束，例如最大化稀疏矩阵方差，增加到NMF公式中，生成PCA-NMF（PNMF），类似FNMF和DNMF算法，应用到脸部图像，PNMF基图像可以被解读为对应脸部区域。在【15】原始数据矩阵X 首先被映射到一个更高阶再生希尔伯特空间通过一个非线性多项式核转换$\Phi(\cdot)$,然后NMF被应用到生成的特征空间。产生的多项式核NMF的新的代价函数

$$||\Phi(X) - ZH||_F^2$$
这种方式，基图像的非负约束和系数被维持对于有非线性依赖的特征来说。
没有使用乘法更新规则，NMF损失函数最小化也可能通过利用投影梯度方法实现。投影梯度方法对于NMF问题首先在【16】中使用。在【17】，投影梯度被用来解DNMF的问题，具有一些不同，不去使用Fisher约束到投影稀疏矩阵H，而是被应用到基矩阵Z，通过 $Z^TX$来代替H。投影梯度也被使用在【18】