树模型
1. 树模型如何对多类别特征进行split
2. 如果多类别特征是用数字表示,比如[1,2,3,4,5,6,7,8,9],需要做哑变换吗
3. 类别型数据,例如['A', 'B', 'C',....],树模型需要做哑变换吗?
3. 树模型需要对多类别特征做one-hot编码吗?
4.树模型如何处理缺失值?
5. Adaboost的原理与公式推导;
6. GBDT的原理与公式推导
7. XGBOOST的原理与公式推导
8. XGBoost与GBDT的联系与区别
9. 有哪些模型融合方法,原理是什么(stacking&blending&bagging的区别)
10.信息熵公式:
熵描述的是样本集合的稳定程度,样本类别越多,熵越大,越不稳定
11. 决策树的损失函数公式(进行剪枝的标准,在剪枝过程前后,判断损失函数是否变小):
逻辑回归模型
1. Lasso & Ridge原理,如何使用
2. Lasso & Ridge是LinearRegression,还是LogisticRegression
优化算法
1. 有哪些梯度下降算法,原理是什么
2. 牛顿法和拟牛顿法的原理
SVM
1.解释SVM核函数的原理:先对两个样本向量做内积,然后用核函数映射
2.常用的核函数有哪些:
a. 线性核函数:没有专门需要设置的参数;
b. 多项式核函数:(rxiT*xj +r)^d, d用来设置最高次项次数,r设置核函数的coef;
c. RBF核函数(高斯核函数):一个参数,gamma
d. sigmoid核函数
3.KKT条件都有什么,如何求解SVM的最优化问题;
4. 为什么要用拉格朗日乘子法
5.什么是对偶问题;
6.svm的介绍,优缺点是什么
7.LR和SVM的区别是什么
LR是概率模型,SVM是几何模型
8. SVM需要做归一化吗,为什么?
需要对数据进行归一化处理