5328笔记 Advanced ML Chapter5-Dictionary Learning and Non-negative Matrix Factorisation

求argmin||x - Dα||2 最小，本就是让Dα和x无限的逼近。当我们找到α的时候，就可以用Dα来表示x，即为将x做了矩阵分解，也就是字典学习dictionary leanring。

用NLP的word2vec来解释字典学习。D就是单词的字典，α就是检索方式。 I love U 3个单词不共线。因为共线的向量，没有更多信息。如果不共线，就想到了PCA和SVD。所以字典学习和它们有些关系。

字典学习就是获得一个优秀的字典D，D每一行每一列由特殊的意思，和一个优秀的检索方法α*。

α只是对于一个数据的，如果是对于数据集X(x1, x2, …, xn)，那么α就从vector变成了matrix。R=[α1, α2, …, αn] 属于 R k*n。把这个α组成的矩阵称为R。


Frobenius 弗罗贝尼乌斯 范数

trace指的是矩阵对角线的加和，称为矩阵的迹。

不能同时对D和R同时求偏导。只能先求一个，然后固定，再求另一个。

MUR：乘法更新法则





注意老师这里用的推导HWV就是DRX
每次计算D和R可能都不同。但是他们D于R相乘，都可以得到X。