面试题复习题1

树模型

1. 树模型如何对多类别特征进行split

2. 如果多类别特征是用数字表示，比如[1,2,3,4,5,6,7,8,9]，需要做哑变换吗

3. 类别型数据，例如['A', 'B', 'C',....],树模型需要做哑变换吗？

3. 树模型需要对多类别特征做one-hot编码吗？

4.树模型如何处理缺失值？

5. Adaboost的原理与公式推导;

6. GBDT的原理与公式推导

7. XGBOOST的原理与公式推导

8. XGBoost与GBDT的联系与区别

9. 有哪些模型融合方法，原理是什么(stacking&blending&bagging的区别)

10.信息熵公式：

熵描述的是样本集合的稳定程度，样本类别越多，熵越大，越不稳定

11. 决策树的损失函数公式（进行剪枝的标准，在剪枝过程前后，判断损失函数是否变小）：

 

 

逻辑回归模型

1. Lasso & Ridge原理，如何使用

2. Lasso & Ridge是LinearRegression，还是LogisticRegression

 

 

优化算法

1. 有哪些梯度下降算法，原理是什么

2. 牛顿法和拟牛顿法的原理

 

 

SVM

1.解释SVM核函数的原理：先对两个样本向量做内积，然后用核函数映射

2.常用的核函数有哪些：

       a. 线性核函数：没有专门需要设置的参数；

       b. 多项式核函数：(rxiT*xj +r)^d, d用来设置最高次项次数，r设置核函数的coef；

       c. RBF核函数（高斯核函数）：一个参数，gamma

       d. sigmoid核函数

3.KKT条件都有什么，如何求解SVM的最优化问题；

4. 为什么要用拉格朗日乘子法

5.什么是对偶问题；

6.svm的介绍，优缺点是什么

7.LR和SVM的区别是什么

          LR是概率模型，SVM是几何模型

8. SVM需要做归一化吗，为什么？

         需要对数据进行归一化处理