天空没有留下我的痕迹，但我已飞过！

XGBoost总结

随机森林面试总结

Gradient Boost是一个框架，里面可以套入很多不同的算法。GBDT是GB的一种情况，GBDT=Gradient Boost+Decision Tree 也就是梯度提升+决策树GB：梯度迭代 Gradient BoostingBoosting 是一种集成方法。通过对弱分类器的组合得到强分类器，他是串行的，几个弱分类器之间是依次训练的。GBDT 的核心就在于，每一颗树学习的是之前所有树结论和的残差。Gradient 体现在：无论前面一颗树的 cost function 是什么，是均方差还是均差，

1、概括虽然逻辑回归能够用于分类，不过其本质还是线性回归。它仅在线性回归的基础上，在特征到结果的映射中加入了一层sigmoid函数（非线性）映射，即先把特征线性求和，然后使用sigmoid函数来预测。逻辑回归假设数据服从伯努利分布,通过极大化似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的。逻辑回归：线性回归可以预测连续值，但是不能解决分类问题，我们需要根据预测的结果判...

1、概括 顾名思义，决策树就是一棵树，一颗决策树包含一个根节点、若干个内部结点和若干个叶结点；叶结点对应于决策结果，其他每个结点则对应于一个属性测试；每个结点包含的样本集合根据属性测试的结果被划分到子结点中；根结点包含样本全集，从根结点到每个叶子结点的路径对应了一个判定测试序列。决策树学习的算法通常是一个递归地选择最优特征，并根据该特征对训练数据进行分割，使得各个子数据集有一个最好的分类...

1、概括 SVM是一种监督式的二分类模型，它通过寻找最大间隔分类平面wx+b=0将正负类样本进行区分，对于线性不可分情况，通过核技法将低维空间映射到高维空间，使其线性可分。 1、当训练样本线性可分时，通过硬间隔最大化，学习一个线性分类器，即线性可分支持向量机； 2、当训练数据近似线性可分时，引入松弛变量，通过软间隔最大化，学习一个线性分类器，即线性支持向量机； ...