机器学习笔试题精选（二）

最新推荐文章于 2024-09-04 15:30:21 发布

红色石头Will

最新推荐文章于 2024-09-04 15:30:21 发布

阅读量9.7k

点赞数 6

分类专栏：机器学习机器学习笔试机器学习笔试宝典文章标签：机器学习笔试面试

本文链接：https://blog.csdn.net/red_stone1/article/details/81023976

版权

机器学习同时被 3 个专栏收录

73 篇文章 48 订阅

订阅专栏

机器学习笔试

7 篇文章 17 订阅

订阅专栏

机器学习笔试宝典

7 篇文章 42 订阅

订阅专栏

红色石头的个人网站：redstonewill.com

上次机器学习笔试题精选（一）中，我们详细解析了机器学习笔试 15 道题。今天，红色石头带大家继续“死磕”相关笔试题！

往期回顾：

直通 BAT！机器学习笔试题精选（一）

Q1. 假如我们使用 Lasso 回归来拟合数据集，该数据集输入特征有 100 个（X1，X2，…，X100）。现在，我们把其中一个特征值扩大 10 倍（例如是特征 X1），然后用相同的正则化参数对 Lasso 回归进行修正。

那么，下列说法正确的是？

A. 特征 X1 很可能被排除在模型之外

B. 特征 X1 很可能还包含在模型之中

C. 无法确定特征 X1 是否被舍弃

D. 以上说法都不对

答案： B

解析：Lasso 回归类似于线性回归，只不过它在线性回归的基础上，增加了一个对所有参数的数值大小约束，如下所示：

m i n 1 m \sum i = 1 m (y i - β 0 - x T i β) 2 s u b j e c t t o | | β | | 1 \leq t

$min\ \frac1m\sum_{i=1}^m(y_i-\beta_0-x_i^T\beta)^2\ \ subject\ to\ \ ||\beta||_1\leq t$

其中，t 为正则化参数。Lasso 回归其实就是在普通线性回归的损失函数的基础上增加了个 β 的约束。那么 β 的约束为什么要使用这种形式，而不使用 β 的平方约束呢？原因就在于第一范数的约束下，一部分回归系数刚好可以被约束为 0。这样的话，就达到了特征选择的效果。如下图所示：

![这里写图片描述](https://img-blog.csdn.net/20180712225855721?) 左边是第二范式，右边是第一范式。第一范数约束下，β 更有可能被约束成 0。这点非常类似于 L1 和 L2 正则化的区别，有兴趣的请看我之前一篇文章：机器学习中 L1 和 L2 正则化的直观解释因此，Lasso 回归适用于样本数量较少，特征维度较大的情形，便于从较多特征中进行特征选择。例如 DNA 数据，特征维度很大，我们只希望通过 Lasso 回归找出与某些疾病有关的 DNA 片段。本题中，将特征 X1 数值扩大 10 倍，他对应的回归系数将相应会减小，但不为 0，以此来保证仍然满足 β 的正则化约束。 **Q2. 关于特征选择，下列对 Ridge 回归和 Lasso 回归说法正确的是？** A. Ridge 回归适用于特征选择 B. Lasso 回归适用于特征选择 C. 两个都适用于特征选择 D. 以上说法都不对 **答案**：B **解析**：上一题我们已经介绍过，Lasso 回归会让一部分回归系数刚好可以被约束为 0，起到特征选择的效果。 Ridge 回归又称岭回归，它是普通线性回归加上 L2 正则项，用来防止训练过程中出现的过拟合。L2 正则化效果类似上一题左图，限定区域是圆，这样，得到的回归系数为 0 的概率很小，很大概率是非零的。因此，比较来说，Lasso 回归更容易得到稀疏的回归系数，有利于舍弃冗余或无用特征，适用于特征选择。 **Q3. 如果在线性回归模型中增加一个特征变量，下列可能发生的是（多选）？** A. R-squared 增大，Adjust R-squared 增大 B. R-squared 增大，Adjust R-squared 减小 C. R-squared 减小，Adjust R-squared 减小 D. R-squared 减小，Adjust R-squared 增大 **答案**：AB **解析**：线性回归问题中，R-Squared 是用来衡量回归方程与真实样本输出之间的相似程度。其表达式如下所示：

![这里写图片描述](https://img-blog.csdn.net/20180712230142112?) 上式中，分子部分表示真实值与预测值的平方差之和，类似于均方差 MSE；分母部分表示真实值与均值的平方差之和，类似于方差 Var。一般来说，R-Squared 越大，表示模型拟合效果越好。R-Squared 反映的是大概有多准，因为，随着样本数量的增加，R-Squared 必然增加，无法真正定量说明准确程度，只能大概定量。单独看 R-Squared，并不能推断出增加的特征是否有意义。通常来说，增加一个特征特征，R-Squared 可能变大也可能保持不变，两者不一定呈正相关。如果使用校正决定系数（Adjusted R-Squared）：

![这里写图片描述](https://img-blog.csdn.net/20180712230221205?) 其中，n 是样本数量，p 是特征数量。Adjusted R-Squared 抵消样本数量对 R-Squared 的影响，做到了真正的 0~1，越大越好。增加一个特征变量，如果这个特征有意义，Adjusted R-Square 就会增大，若这个特征是冗余特征，Adjusted R-Squared 就会减小。 **Q4. 下面三张图展示了对同一训练样本，使用不同的模型拟合的效果（蓝色曲线）。那么，我们可以得出哪些结论（多选）？**

![这里写图片描述](https://img-blog.csdn.net/2018071223025384?) A. 第 1 个模型的训练误差大于第 2 个、第 3 个模型 B. 最好的模型是第 3 个，因为它的训练误差最小 C. 第 2 个模型最为“健壮”，因为它对未知样本的拟合效果最好 D. 第 3 个模型发生了过拟合 E. 所有模型的表现都一样，因为我们并没有看到测试数据 **答案**：ACD **解析**：1、2、3 模型分别对应的多项式阶数由小到大，即模型由简单到复杂。模型越简单，容易发生欠拟合；模型越复杂，容易发生过拟合。第 1 个模型过于简单，出现欠拟合；第 3 个模型过于复杂，对训练样本拟合得很好，但在测试样本上效果会很差，即过拟合；第 2 个模型最为“健壮”，在训练样本和测试样本上拟合效果都不错！ **Q5. 下列哪些指标可以用来评估线性回归模型（多选）？** A. R-Squared B. Adjusted R-Squared C. F Statistics D. RMSE / MSE / MAE **答案**：ABCD **解析**：R-Squared 和 Adjusted R-Squared 的概念，我们在 Q3 有过介绍，它们都可以用来评估线性回归模型。F Statistics 是指在零假设成立的情况下，符合F分布的统计量，多用于计量统计学中。 RMSE 指的是均方根误差：

R M S E = 1 m \sum i = 1 m (y (i) - y^(i)) 2 - - - - - - - - - - - - - - - \sqrt

$RMSE=\sqrt{\frac1m\sum_{i=1}^m(y^{(i)}-\hat y^{(i)})^2}$

MSE 指的是均方误差：

M S E = 1 m \sum i = 1 m (y (i) - y^(i)) 2

$MSE=\frac1m\sum_{i=1}^m(y^{(i)}-\hat y^{(i)})^2$

MAE 指的是评价绝对误差：

M A E = 1 m \sum i = 1 m | y (i) - y^(i) |

$MAE=\frac1m\sum_{i=1}^m|y^{(i)}-\hat y^{(i)}|$

以上指标都可以用来评估线性回归模型。

Q6. 线性回归中，我们可以使用正规方程（Normal Equation）来求解系数。下列关于正规方程说法正确的是？

A. 不需要选择学习因子

B. 当特征数目很多的时候，运算速度会很慢

C. 不需要迭代训练

答案：ABC

解析：求解线性回归系数，我们一般最常用的方法是梯度下降，利用迭代优化的方式。除此之外，还有一种方法是使用正规方程，原理是基于最小二乘法。下面对正规方程做简要的推导。

已知线性回归模型的损失函数 Ein 为：

E i n = 1 m (X W - Y) 2

$E_{in}=\frac1m(XW-Y)^2$

对 Ein 计算导数，令 ∇Ein=0：

\nabla E i n = 2 m (X T X W - X T Y) = 0

$\nabla E_{in}=\frac2m(X^TXW-X^TY)=0$

然后就能计算出 W：

W = (X T X) - 1 X T Y

$W=(X^TX)^{-1}X^TY$

以上就是使用正规方程求解系数 W 的过程。可以看到，正规方程求解过程不需要学习因子，也没有迭代训练过程。当特征数目很多的时候， $X^TX$ 矩阵求逆会很慢，这时梯度下降算法更好一些。

如果 $X^TX$ 矩阵不可逆，是奇异矩阵怎么办呢？其实，大部分的计算逆矩阵的软件程序，都可以处理这个问题，也会计算出一个逆矩阵。所以，一般伪逆矩阵是可解的。

Q7. 如果 Y 是 X（X1，X2，…，Xn）的线性函数：

Y = β0 + β1X1 + β2X2 + ··· + βnXn

则下列说法正确的是（多选）？

A. 如果变量 Xi 改变一个微小变量 ΔXi，其它变量不变。那么 Y 会相应改变 βiΔXi。

B. βi 是固定的，不管 Xi 如何变化

C. Xi 对 Y 的影响是相互独立的，且 X 对 Y 的总的影响为各自分量 Xi 之和

答案：ABC

解析：这题非常简单，Y 与 X（X1，X2，…，Xn）是线性关系，故能得出 ABC 结论。

Q8. 构建一个最简单的线性回归模型需要几个系数（只有一个特征）？

A. 1 个

B. 2 个

C. 3 个

D. 4 个

答案：B

解析：最简单的线性回归模型，只有一个特征，即 Y = aX + b，包含 a 和 b 两个系数。

Q9. 下面两张图展示了两个拟合回归线（A 和 B），原始数据是随机产生的。现在，我想要计算 A 和 B 各自的残差之和。注意：两种图中的坐标尺度一样。

![这里写图片描述](https://img-blog.csdn.net/20180712230834815?) **关于 A 和 B 各自的残差之和，下列说法正确的是？** A. A 比 B 高 B. A 比 B 小 C. A 与 B 相同 D. 以上说法都不对 **答案**：C **解析**：A 和 B 中各自的残差之和应该是相同的。线性回归模型的损失函数为：