Ricky

1.介绍ID3树与CART树的区别：ID3算法中，选择的是信息增益来进行特征选择，信息增益大的特征优先选择。而在C4.5中，选择的是信息增益比来选择特征，以减少信息增益容易选择特征值多的特征的缺点。但是无论是ID3还是C4.5，都是基于熵的模型，里面会涉及到大量的对数运算，能不能简化一下？GINI系数的计算公式：假设有数据集D，定义GINI指数：GINI(D)=&T...

1. 说明官方文献说明，想深入研究的可以戳进去进一步学习lightGBM是一个基于树模型的分布式Boosting算法，该算法是有微软开源贡献，说到tree-based模型一般都会想到XGBOOST算法，毕竟也是曾经的大杀器，那下面就把这两个算法进行一些对比。2.Xgboost的优缺点优点：(不详细说了，默认有树模型基础)1.Xgboost利用的二阶梯度，相对于lightGBM在进行节点...

1.算法原理介绍1.1Xgboost简介xgboost是Boosting算法的其中一种，Boosting算法的思想是许多弱分类器集成在一起，形成一个强分类器。以为xgboost是一种提升树模型，所以他是将许多树模型集成在一起，形成一个很强的分类器。而所用到的树模型则是cart回归树模型。xgboost是在GBDT的基础上进行改进，使得更加强大，使用范围更大xgboost一般和sklear...