工程数据特征的稀疏性

工程数据特征的稀疏性

从一个简单的例子说起，相信大多数人学过线性代数或者矩阵论之类的课程吧，再线性代数中，最初始的时候就会学到关于如何判断一大堆向量线性的相关或者不相关性，进而确定一组线性无关组。这里比如说空间中一个向量X是一个三维坐标点吧，用(x,y,z)表示。假设现在有一堆点X1(1,0,0);X2(0,1,0);X3(0,0,1);X4(4,3,5);X5(2,1,4)……等等吧，那么我们是不是可以找到这一大堆向量的最大线性无关组其实就可以用X1,X2,X3来表示，其他的任何向量Xi都可以用这三个向量来线性表示，当然用X1,X2,X3来表示任何一个向量来表示是最简单情况，你一个向量同样可以用X1,X2,X3,X4,X5来表示，不过这个多两个待确定系数而已。好了现在假设我们已知有X1_{X10这十个向量，那么同空间中有一个向量我们就可以用X1}X10这十个向量线性表示，就有10个待确定系数。但是我们事先是知道一个向量只需要用X1,X2,X3来表示即可了，那么我们可以让上面需要确定的10个参数中的后7个参数约束为0即可，那么其实这个过程就是一种稀疏表示思想。可以看出稀疏表示就是找到空间中的一组基，用这组基可以扩展到空间中的任何向量。稀疏表示的好处在于降低表示复杂度，更直白的原因其实就是减少系数参数，通过稀疏表示，可以充分发挥数据所含有的信息，去掉冗余的数据信息，达到最大化利用数据，这一点是非常重要的。被稀疏表示的特征即是稀疏特征。

详细以下：
https://blog.csdn.net/on2way/article/details/50389968