降维个人理解

降维

介绍

数据降维是机器学习当中的一种手段，当数据量较大时（维数多），我们通常采取降维的方法，来降低数据的维数，方便我们进行处理以及之后的计算。举一个通俗一点的例子，当我们的对象是人的时候，像：性别、年龄、名字、家庭住址等，都是我们已经收集的特征，每个信息都是一维特征。但是在一次实验当中，我们并不需要这么多维的信息，那我们只取性别、年龄，这样就把开始很多维的信息降到了2维，这就是降维。（自己的理解，如有错误欢迎指出）

数学方面

就我目前学习到的知识，数据降维用到的数学相关的知识在统计学、线性代数方面的知识多一些，下面就数学方面讲解一些自己觉得需要注意到的点，假设下面是我们拿到的一个数据。

姓名	年龄	性别
张三	20	男
李四	25	女

1. 数据的行

数据的行可以看作观测值、特征向量，观测值对一个数据的观察然后得出来的值，在这里面（张三，20，男）就是一组观测值，这样的话就是类似我们从三个坐标轴观察我们数据，每个坐标轴其实就是一个纬度。

2.数据的列

数据的列可以看作数据的一个列向量，这一个列向量其实就是这一个纬度的特征向量，类似于（张三，李四）、（20，30）、（男，女）都是特征向量，可以理解为x轴上的一组数据、y轴上的一组数据

懂得这两点之后，看数据就方便很多。

数学上的例子

假设一个矩阵M = $$\left[\begin{array}{ccc}1& 2& 1\\ -2& -3& 1\\ 3& 5& 0\end{array}\right]$$ ,通过计算可以知道矩阵的秩为2。由矩阵秩的性质可以知道（矩阵的秩是矩阵线性独立的行（列）的个数）

• 我们可以把M用两个新的向量基进行表示

  分别为[1 ,2, 1]、[-2, -3 , 1]

• 相对应的坐标变化为了：[1,0] 、[0, 1]、[1,1]

• 这样我们就将一个三维降到了二维

  

总结

关于降维的算法有很多，如PCA、LDA、SVD等，在这里就不细细展开。这些都是我个人目前在机器学习降维上的总结，如果有什么不对的地方，欢迎指出。

参考链接：https://juejin.im/post/5c00df556fb9a049b82a2fa4#heading-0