决策树
Facico
生命是闪耀的此刻,不是过程,就像芳香不需要道路一样。
展开
-
决策树学习小记
决策树类型ID3C4.5CART(回归树)优缺点优点:计算复杂度不高,输出易于理解,对缺失值不敏感,可以处理不相关特征数据缺点:可能会产生过度匹配问题,过拟合使用数据类型:数值型和布尔型香农熵(信息熵)熵定义为信息的期望值,表示信息的无序程度变量的不确定性越大,熵也就越大,把它搞清楚所需要的信息量也越大l(xi)=−log2p(xi)l(x_i)=-log_2{p(xi)}l(xi)=−log2p(xi)H=−∑i=1np(xi)log2p(xi)H=-\sum_{i原创 2020-09-18 14:44:24 · 459 阅读 · 4 评论 -
LightGBM学习小记
LightGBM同样也是决策树从下图实验数据可以看出, LightGBM比XGBoost快将近10倍,内存占用率大约为XGBoost的1/6,并且准确率也有提升。XGboost的优缺点与LightGBM1、精确贪心算法每轮迭代时,都需要遍历整个训练数据多次。如果把整个训练数据装进内存则会限制训练数据的大小;如果不装进内存,反复地读写训练数据又会消耗非常大的时间。2、Level-wise(按层生长)迭代方式(同时分裂同一层的叶子,从而进行多线程优化,不容易过拟合)很多叶子节点的分裂原创 2020-09-23 14:33:15 · 504 阅读 · 0 评论