scikit-learn(GBDT GradientBoostingClassifier)源码解析

 

 

损失函数（目标函数）

【概述】共支持五个类别六个种类的的损失函数，分别是：

       'ls': LeastSquaresError
       'lad': LeastAbsoluteError
       'huber': HuberLossFunction
       'quantile': QuantileLossFunction
       'deviance': None,如果二分类：BinomialDeviance，多分类：MultinomialDeviance
       'exponential': ExponentialLoss,

'''判断损失函数手否支持'''
if (self.loss not in self._SUPPORTED_LOSS
        or self.loss not in LOSS_FUNCTIONS):
    raise ValueError("Loss '{0:s}' not supported. ".format(self.loss))

'''所支持的loss函数实现'''
LOSS_FUNCTIONS = {'ls': LeastSquaresError,
                  'lad': LeastAbsoluteError,
                  'huber': HuberLossFunction,
                  'quantile': QuantileLossFunction,
                  'deviance': None,    # for both, multinomial and binomial
                  'exponential': ExponentialLoss,
                  }
''''''
if self.loss == 'deviance':
    loss_class = (MultinomialDeviance
                  if len(self.classes_) > 2
                  else BinomialDeviance)

【LeastSquaresError】

    pythons实现版本支持传入样本权重，默认情况下按照权重全为1的方式计算。有权重和无权重loss计算方式如下：

       【无权重loss计算方式】