目录
主成分分析(Principal Components Analysis,PCA)
线性判别分析(Linear Discriminant Analysis,LDA)
降维的例子
很多时候给定的数据向量维数都很高,典型的一个例子就是自然语言处理中词的One-hot编码,编码后的向量维数和词典的大小相同,但是词典通常有十几万甚至更多的词,也就是一个词表示为一个十几万维的向量。这给计算带来了极大的困难。所以有必要对高维向量进行降维,但是需要保证降维后的向量不能丢失太多的信息,否则降维毫无意义。word embedding方法可以看成词向量的一种降维方法,这里不叙述。我们以一个简单的例子开始。以二维平面为例,也就是考虑二维向量,横轴是
,纵轴是
。从平面直线
上随机选择一些点