决策树算法剪枝的一些理解

1、剪枝的目的是避免过拟合，避免过拟合的方式是在损失函数中加入附加项α|T|。
2、损失函数定义如下，参考https://blog.csdn.net/ritchiewang/article/details/50254009


3、假设不剪枝的损失函数为C前(T前)=C(T前)+α|T前|，剪枝后仅保留根节点的损失函数为C后(T后)=C(T后)+α|T后|，因为仅剩下根节点，所以|T后|=1，另两者相等，则我们得到α值。一般情况下，若α>=[C(T后)-C(T前)]/[|T前|-1]，则需要进行剪枝，所以对很多枝来说，我们仅需要找出最小的一个[C(T后)-C(T前)]/[|T前|-1]，这样就可以保证应剪尽剪。