机器学习面试题汇总

1.gbdt和xgboost区别，决策树如何生成，xgboost如何分裂；

2.召回率、准确率怎么算，auc怎么算？

转自-可点击看详细内容
一、准确率、精确率、召回率和 F 值 是选出目标的重要评价指标。不妨看看这些指标的定义先：
(1)若一个实例是正类，但是被预测成为正类，即为真正类(True Postive TP)
(2)若一个实例是负类，但是被预测成为负类，即为真负类(True Negative TN)
(3)若一个实例是负类，但是被预测成为正类，即为假正类(False Postive FP)
(4)若一个实例是正类，但是被预测成为负类，即为假负类(False Negative FN）
下表中：1代表正类，0代表负类：

TP:正确的匹配数目
FP:误报，没有的匹配不正确
FN:漏报，没有找到正确匹配的数目
TN:正确的非匹配数目
准确率（正确率）=所有预测正确的样本/总的样本 （TP+TN）/总
精确率= 将正类预测为正类 / 所有预测为正类 TP/（TP+FP）（纵轴）
召回率 = 将正类预测为正类 / 所有实际为正的正类 TP/（TP+FN）（横轴）
F值 = 精确率 * 召回率 * 2 / ( 精确率 + 召回率) （F 值即为精确率和召回率的调和平均值）
二、ROC曲线：接收者操作特征(receiver operating characteristic),roc曲线上每个点反映着对同一信号刺激的感受性。
纵轴：真正类率(true postive rate TPR)，也叫真阳性率
横轴：假正类率(false postive rate FPR)，也叫伪阳性率
由上表可得出横，纵轴的计算公式：
(1)真正类率(True Postive Rate)TPR: TP/(TP+FN), 代表分类器 预测为正类中实际为正实例占所有正实例 的比例。
(2)假正类率(False Postive Rate)FPR: FP/(FP+TN)，代表分类器 预测为正类中实际为负实例 占 所有负实例 的比例。

如下图所示，(a)图中实线为ROC曲线，（深绿色）线上每个点对应一个阈值（threshold）。假设是二分类分类器，输出为每个实例预测为正类的概率。那么通过设定一个特定阈值（threshold），预测为正类的概率值 大于等于 特定阈值的为 正类，小于 特定阈值的为 负类，然后统计TP、TN、FP、FN每个类别的数目，然后根据上面的公式，就能对应的就可以算出一组 特定阈值下(FPR,TPR)的值，即 在平面中得到对应坐标点。如果这里没懂也没关系，下面有详细的例子说明。

右上角的阈值最小，对应坐标点(1,1)；左下角阈值最大，对应坐标点为(0,0)。从右上角到左下角，随着阈值的逐渐减小，越来越多的实例被划分为正类，但是这些正类中同样也掺杂着真正的负实例，即TPR和FPR会同时增大。

横轴FPR: FPR越大，预测正类中实际负类越多。
纵轴TPR：TPR越大，预测正类中实际正类越多。
理想目标：TPR=1，FPR=0，即图中(0,1)点，此时ROC曲线越靠拢(0,1)点，越偏离45度对角线越好。
AUC(Area under Curve)：
Roc曲线下的面积，介于0.1和1之间。AUC作为数值可以直观的评价分类器的好坏，值越大越好。
首先AUC值是一个概率值，当你随机挑选一个正样本以及负样本，当前的分类算法根据计算得到的Score值将这个正样本排在负样本前面的概率就是AUC值，AUC值越大，当前分类算法越有可能将正样本排在负样本前面，从而能够更好地分类。