应聘机器学习工程师？这是你需要知道的12个基础面试问题

如果想应聘机器学习工程师岗位，你可能会遇到技术面试，这是面试官掂量你对技术的真正理解的时候，所以还是相当重要的。近日，JP Tech 发表了一篇文章，介绍了他们面试新人时可能会提出的 12 个面试问题。问题很基础，但却值得一看。

这些问题是我在面试 AI 工程师岗位时常问到的问题。事实上，并非所有面试都需要用到所有这些问题，因为这取决于面试者的经验以及之前做过的项目。经过很多面试（尤其是与学生的面试）之后，我收集了 12 个深度学习领域的面试问题。我将在本文中将其分享给你。

问题1：阐述批归一化的意义

这是一个非常好的问题，因为这涵盖了面试者在操作神经网络模型时所需知道的大部分知识。你的回答方式可以不同，但都需要说明以下主要思想：

算法 1：批归一化变换，在一个 mini-batch 上应用于激活 x。

批归一化是一种用于训练神经网络模型的有效方法。这种方法的目标是对特征进行归一化处理（使每层网络的输出都经过激活），得到标准差为 1 的零均值状态。所以其相反的现象是非零均值。这将如何影响模型的训练：

首先，这可以被理解成非零均值是数据不围绕 0 值分布的现象，而是数据的大多数值大于 0 或小于 0。结合高方差问题，数据会变得非常大或非常小。在训练层数很多的神经网络时，这个问题很常见。如果特征不是分布在稳定的区间（从小到大的值）里，那么就会对网络的优化过程产生影响。我们都知道，优化神经网络将需要用到导数计算。

假设一个简单的层计算公式 y = (Wx + b)，y 在 W 上的导数就是这样：dy=dWx。因此，x 的值会直接影响导数的值（当然，神经网络模型的梯度概念不会如此之简单，但理论上，x 会影响导数）。因此，如果 x 引入了不稳定的变化，则这个导数要么过大，要么就过小，最终导致学习到的模型不稳定。而这也意味着当使用批归一化时，我们可以在训练中使用更高的学习率。

批归一化可帮助我们避免 x 的值在经过非线性激活函数之后陷入饱和的现象。也就是说，批归一化能够确保激活都不会过高或过低。这有助于权重学习——如果不使用这一方案，某些权重可能永远不会学习。这还能帮助我们降低对参数的初始值的依赖。

批归一化也可用作正则化（regularization）的一种形式，有助于实现过拟合的最小化。使用批归一化时，我们无需再使用过多的 dropout；这是很有助益的，因为我们无需担心再执行 dropout 时丢失太多信息。但是，仍然建议组合使用这两种技术。

问题2：阐述偏置和方差的概念以及它们之间的权衡关系

偏置（bias）是什么？这很好理解，偏置是当前模型的平均预测结果与我们需要预测的实际结果之间的差异。当模型的偏置较高时，说明其不够关注训练数据。这会使得模型过于简单，无法在训练和测试上同时实现优良的准确度。这个现象也被称为「欠拟合」。

方差（variance）可以简单理解为是模型输出在一个数据点上的分布（或聚类）。方差越大，模型越有可能更密切关注训练数据，而无法提供在从未见过的数据上的泛化能力。由此造成的结果是，模型可在训练数据集上取得非常好的结果，但在测试数据集上的表现却非常差。这个现象被称为过拟合。

这两个概念的关系可通过下图说明：