机器学习面试知识点汇总（Machine Learning Core Concepts Collection）

Core Concepts List

我们将在这一部分罗列一些面试可能涉及到的小的知识点，只作巩固和补充，如果需要详细了解，还需要详细查证相关的论文。

1.在预测阶段执行 BN 是必要的吗？（没必要也不建议这么做）
2.Variance and Bias?
High Bias 往往伴随 underfitting；而 High Variance 往往伴随 overfitting。而具体到图像上而言，表现是 training error 与 test error 之间 gap 的大小，gap 较大一般是 high variance 的表现；gap 较小且都高于预期值，则是 high bias 的表现。
3.Bagging and Boosting?
将低复杂度的模型 ensemble 起来是 Bagging 策略；将高复杂度的模型 ensemble 起来是 Boosting 策略（类似的还有Random Forest）。
4.what’s the differrence between L1 and L2?
5.Ridge Regression and Lasso Regression?
6.Methods to fine-tune hyper-parameters
Grid search; Random search; Bayesian optimization
7.How to do Gaussian Process approximation?
The process of surrogate function construction and acquisition function.
7.多项式回归可以拟合非线性关系，所以它属于非线性回归?
多项式回归仍然隶属于线性回归，因为因变量和自变量间的关系系数仍然是线性的。
8.logistic regression 是回归问题还是分类问题?
逻辑回归是分类问题，其真正区别在于损失函数的度量，一个是 MSE 而另一个则是 MLE，其中logistic regression 是在 x 变换后的基础上，进行激活，得到属于某个类别的概率。
9.