矩阵分解之奇异值分解

矩阵分解之奇异值分解

---

引言

首先说矩阵，矩阵是一个难理解的数学描述，不管是在本科阶段的线性代数课上还是在研究生阶段的矩阵分析课上，都没有使我对矩阵产生什么好感，虽然考试也能过关，基本知识也能理解，但就是不知道有卵用。直到接触了机器学习相关算法论述时，发现好多的机器学习算法最终的描述都是通过矩阵分析相关知识推导而来，才知道了矩阵分析是非常有用的，但是到现在为止，还是没有什么好感。然后为什么要讲到奇异值分解，主要是在读《数学之美》中读到了采用奇异值分解解决文本分类问题的巧妙之处。首先在新闻分类中通过余弦定理计算新闻特征向量之间的夹角来对新闻进行分类或者聚类等操作，但对于网络上成千上万条新闻，通过余弦定理进行计算相关性运算量实在太大。而通过奇异值分解，可以实现将新闻特征矩阵分解为三个矩阵的乘积，而每个矩阵都有各自的含义，更为重要的是这三个矩阵的大小要比原来的特征矩阵小很多，从而在一定程度上减少了计算量。所以剩下的就是如何理解奇异值分解的含义，以及如何设计合适的算法实现奇异值分解了。奇异值分解的应用是本文的重点。

---

只记得在矩阵分析课中，有一章节是关于矩阵分解的，只考三个内容：满秩分解，奇异值分解和谱分解。实际上对于知识来讲并没有重要与否的区分，而是在哪里应用，什么时候用到。。。

概念

满秩分解：