开山-机器学习(1)矩阵分解-多视角数据表示的多样非负矩阵分解

欢迎来到theFlyer的博客—希望你有不一样的感悟

前言：这是一篇要讲的论文，以下内容是基于个人理解写的，从简单的NMF讲到论文的多视角方法，由于之前做了PPT所以以下图片可能比较多。

论文名称 Diverse Non-Negative Matrix Factorization for Multiview Data Representation

1.矩阵分解

##1.1传统矩阵分解

矩阵分解在很多领域获得了广泛的应用.
在应用统计学领域, 通过矩阵分解得到原数据矩阵的低秩逼近, 从而可以发现数据的内在结构特征.

##1.2非负矩阵分解

选择非负矩阵分解原因
在数学上，从计算的观点看，分解结果存在负值是正确的，但负值元素在实际结果往往没有意义，例如图像数据没有负值像素点。

###1.2.1NMF简介
矩阵分解最初用在推荐上，有一个矩阵V行是用户，列是商品，矩阵上面的值代表着商品的打分。但是矩阵有些商品用户是没有打分的，但是作为商家想知道用户的喜好。 于是利用一个矩阵V可以分成两个矩阵W,H相乘。(V上面的一个点 是另外两个矩阵某行和某列相乘) 。–开始，我们随机初始化W，H，发现WH上某行与某列相乘的结果与商品打分V矩阵上的值是不同的有误差，所有我们就需要更新WH来减少误差。一般采取梯度下降和乘法规则。

NMF分解的目的是为非负矩阵V,寻找适当的非负基矩阵W和非负系数矩阵H,使它们的乘积近似于原始非负矩阵V，可写为如下形式:

###1.2.2NMF最小化目标函数

1.对于平方距离的损失函数
2.对于KL散度的损失函数

###1.2.3不同损失的乘法更新规则

1.对于平方距离的损失函数
2.对于KL散度的损失函数

###1.2.4乘法更新规则和梯度下降是等价的

乘法规则主要是为了计算的过程中保证非负，而基于 梯度下降的方法中加减运算无法保证非负，其实上述乘法更新规则与基于梯度下降的算法是等价的，下面以平方距离为损失函数说明上述过程的等价性。

###1.2.5非负矩阵分解及参数更新举例

利用乘法更新规则更新

2.论文讲述-多视角的非负矩阵

###2.1论文的主要工作

文章主要完成四件事

###2.2论文的主要目的

1.传统非负矩阵分解
这些方法一个主要的局限是多视角学习的数据表示有相互冗余信息，且缺乏不同的信息。利用由多视角分享的共同信息而忽略了多视角的差异性。
2.DiNMF
DiNMF能通过数据表示捕捉到不同的信息。最后H*不仅有有已经存在方法捕捉到的共同的信息，还保存了不同视角的独特信息，因此更加综合和精确。

###2.3DiNMF多样非负矩阵分解

DiNMF相比普通矩阵分解如何提取特征呢？
一个让人满意的多视角非负矩阵分解方法需满足两个条件：
1.为了学习的综合性和精确性，能够通过多视角数据表示开拓不同的信息
2.当数据和唯独很大时，是可伸缩的
--------文章使用L0范式、L1范式来保证差异

###2.4DiNMF的算法

算法流程和初始化

###2.5DiNMF算法及更新举例

迭代方法和之前的非负矩阵分解类似，假设目前已经得到优化后H

###2.6DiNMF改进LP-DiNMF

提出改进的原因是为了揭露隐藏的语义并关注内在的几何结构，找到一个紧凑的表示。下式利用了图正则的思想，考虑了数据集携带的几何信息。

后记：

努力不会徒劳，伟大并非凑巧。最近因为一些事，也有些感慨，下面是三毛的一句话，
刻意去找的东西，往往是找不到的。天下万物的来和去，都有他的时间。

欢迎关注个人公众号-女娲之心