PCA就是主成分分析,主成分分析主要是用来将降维。为什么要降维,因为维度过高会带来很多问题,例如过拟合,数据稀疏等。
什么是过拟合,说到过拟合就要说到**泛化误差**,机器学习追求的其实是泛化误差比较小,而过拟合就是学习器在样本上拟合的很好,但是泛化误差很大,不具有什么大的价值。
什么是样本稀疏呢。假设在一个高纬度的空间中,存在一个超立方体,边长为1,它内部有一个超球体,它们体积分别为1、k^D(记维度为D,k = 4pi*r³/3)。我们可以计算超球体与超立方体的体积之比为kr³,r<1。当维数趋近于无穷的时候,超球体体积趋近于0。可以理解为样本数据并没有集中的均匀分布在球体中,而是分布在球体之外,即超立方体的边缘。
过拟合一般的话有三种解决方法。
一,提高样本的个数
二、正则化,我也不清楚
三、降维。
其中,降维又分为三种,1.直接降维,根据主观,选择一些重要的指标,剔除掉一些无关紧要的指标。2.线性降维,PCA,MDS。3.非线性降维。
小白笔记。
观看视频来自于哔哩哔哩up主shuhuai008
附URL:https://www.bilibili.com/video/av32709936?from=search&seid=12646296828028488095
机器学习推导PCA预备知识
最新推荐文章于 2024-08-17 01:13:32 发布