机器学习-GBDT

1、https://www.jianshu.com/p/7fe700356a3d

2、https://blog.csdn.net/zpalyq110/article/details/79527653

先看实例，再看公式推导。

一、预测值为C，实际值为Yi，Loss=(Yi - C)^2，为了让Loss最小，所以直接求导，并让导函数为0，所以就有了下图的推导过程。

 

二、为什么用平方损失作为切分依据？

被预测出错的样本数越多，错的越离谱，均方差就越大，本质上还是希望能找到一个特征的切分点，用该切分点切分出的子节点的预测值和实际值更接近，而衡量是否接近的方式就是均方差。

三、如何证明条件熵小于无条件熵？

https://wenku.baidu.com/view/0726d7b7cc22bcd127ff0c01