机器学习大厂笔试面试5000题（101-110）

问题1：给你一个数据集。该数据集包含很多变量，你知道其中一些是高度相关的。经理要求你用PCA。你会先去掉相关的变量吗？为什么？

解析1：

你可能会说不，但是这有可能是不对的。丢弃相关变量会对PCA有实质性的影响，因为有相关变量的存在，由特定成分解释的方差被放大。

例如：在一个数据集有3个变量，其中有2个是相关的。如果在该数据集上用PCA，第一主成分的方差会是与其不相关变量的差异的两倍。此外，加入相关的变量使PCA错误地提高那些变量的重要性，这是有误导性的。

解析2：

如上图所示，X1和X2列是两个不相关的变量，使用PCA降维后的图如上左1灰线所示，

X3和X4是复制X2列并做小改动，PCA的结果如上中、右1灰线所示，

由图可知，使用PCA之前应该去除互相相关的变量。

问题2：花了几个小时后，现在你急于建一个高精度的模型。结果，你建了5 个GBM （Gradient Boosted Models），想着boosting算法会显示魔力。 不幸的是，没有一个模型比基准模型表现得更好。最后，你决定将这些模型结合到一起。 尽管众所周知，结合模型通常精度高，但你就很不幸运。你到底错在哪里？

解析：据我们所知，