集成学习(XGBoost,LightGBM,CatBoost)
决策树
由根节点跟许多决策节点和叶子节点组成的树形结构
eg.
分类树
1、信息熵
信息熵是用来衡量休息不确定性的指数,不确定性是一个事件出现不同结果的可能性。计算方法如图所示:
H(X)=−∑i=1nP(X=i)log2P(X=i)
H(X)=-\sum^n_{i=1}{P(X=i)\log_2{P(X=i)}}
H(X)=−i=1∑nP(X=i)log2P(X=i)
其中:P(X=i)P(X=i)P(X=i)为随机变量x取值为i的概率
eg.
硬币
P
正面
0.5
反面
0
原创
2022-02-28 17:07:22 ·
1082 阅读 ·
0 评论