机器学习推导PCA预备知识

        PCA就是主成分分析，主成分分析主要是用来将降维。为什么要降维，因为维度过高会带来很多问题，例如过拟合，数据稀疏等。
        什么是过拟合，说到过拟合就要说到**泛化误差**，机器学习追求的其实是泛化误差比较小，而过拟合就是学习器在样本上拟合的很好，但是泛化误差很大，不具有什么大的价值。
        什么是样本稀疏呢。假设在一个高纬度的空间中，存在一个超立方体，边长为1，它内部有一个超球体，它们体积分别为1、k^D(记维度为D，k = 4pi*r³/3)。我们可以计算超球体与超立方体的体积之比为kr³，r<1。当维数趋近于无穷的时候，超球体体积趋近于0。可以理解为样本数据并没有集中的均匀分布在球体中，而是分布在球体之外，即超立方体的边缘。
        过拟合一般的话有三种解决方法。
        一，提高样本的个数
        二、正则化，我也不清楚
        三、降维。
        其中，降维又分为三种，1.直接降维，根据主观，选择一些重要的指标，剔除掉一些无关紧要的指标。2.线性降维，PCA，MDS。3.非线性降维。
        小白笔记。
        观看视频来自于哔哩哔哩up主shuhuai008
        附URL：https://www.bilibili.com/video/av32709936?from=search&seid=12646296828028488095