算法强化 —— XGBoost(二)

分裂点贪心算法

对现有的叶节点加入一个分裂，然后考虑分裂之后目标函数降低多少，如果目标函数下降，则说明可以分裂，如果目标函数不下降，则说明该叶节点不宜分裂
对于一个叶节点，加入给定其分裂点，定义划分到左子节点的样本的集合为$$mathbb{I}_L=\left\{i|q\left({\overrightarrow{\mathbf{x}}}_i\right)=L\right\}$$
定义划分到右子节点的样本的集合为${\mathbb{I}}_R=\left\{i|q\left({\overrightarrow{\mathbf{x}}}_i\right)=R\right\}$则有
$$\begin{array}{rl}{\mathbf{G}}_L& =\sum _{i\in {\mathbb{I}}_L}{g}_i,{\mathbf{G}}_R=\sum _{i\in {\mathbb{I}}_R}{g}_i\\ {\mathbf{H}}_L& =\sum _{i\in {\mathbb{I}}_L}{h}_i{\mathbf{H}}_R=\sum _{i\in {\mathbb{I}}_R}{h}_i\\ \mathbf{G}=& \sum _{i\in {\mathbb{I}}_L}{g}_i+\sum _{i\in {\mathbb{I}}_R}{g}_i={\mathbf{G}}_L+{\mathbf{G}}_R\\ \mathbf{H}=& \sum _{i\in {\mathbb{I}}_L}{h}_i+\sum _{i\in {\mathbb{I}}_R}{h}_i={\mathbf{H}}_L+{\mathbf{H}}_R\end{array}$$

定义叶节点的分裂增益为：
$$\text{Gain}=\frac{1}{2}\left[\frac{{\mathbf{G}}_L^2}{{\mathbf{H}}_L+\lambda }+\frac{{\mathbf{G}}_R^2}{{\mathbf{H}}_R+\lambda }-\frac{{\mathbf{G}}^2}{\mathbf{H}+\lambda }\right]-\gamma$$
其中：
$\frac{{\mathbf{G}}_L^2}{{\mathbf{H}}_L+\lambda }$表示：该叶节点的左子树的结构分

$\frac{{\mathbf{G}}_R^2}{{\mathbf{H}}_R+\lambda }$表示：该叶节点的右子树的结构分

$\frac{{\mathbf{G}}^2}{\mathbf{H}+\lambda }$表示：如果不分裂，则该叶节点本事的结构分

$-\lambda$表示:因为分裂导师叶节点数量增大1，从而导致增益的下降
每次分裂只一个叶节点，因此其他叶节点不会发生变化，因此
若$Gain>0$,则该叶节点应该分裂
若$Gain\le 0$,则该叶节点不宜分裂

现在的问题是：不知道分裂点。对于每个叶节点，存在很多个分裂点，且可能很多分裂点都能带来增益。
解决办法是：对于叶节点中的所有可能的分裂点进行一次扫描，然后计算每个分裂点的增益，选取增益最大的分裂点作为本叶节点的最优分裂点。

贪心算法的缺点

分裂贪心算法尝试所有特征和所有分裂位置，从而求得最优分裂点，当样本太大且特征为连续值时，这种暴力做法的计算量太大。

近似算法

近似算法的思想

1.近似算法寻找最优分裂点时不会枚举所有的特征值，而是对特征值进行聚合统计，然后形成若干个桶。然后仅仅将桶边界上的特征的值作为分裂点的候选，从而获取计算性能的提升。
2.假设数据集$D=(\overrightarrow{x_1},\widetilde{y_1}),(\overrightarrow{x_2},\widetilde{y_2}),...,(\overrightarrow{x_N},\widetilde{y_N})$ 样本$\overrightarrow{x_i}=(x_{i,1},x_{i,2},...,x_{i,n}{)}^T$
对第k个特征进行分桶：
如果第k个特征为连续特征，则执行百分位分桶，得到分桶的区间为$S_k=s_{k,1},s_{k,2},...,s_{k,l}$,其中$s_{k,1}<s_{k,2}<...<s_{k,l}$
分桶的数量、分桶的区间都是超参数，需要仔细挑选
如果第k个特征为离散特征，则执行案离散值分桶，得到的分桶为$S_k=s_{k,1},s_{k,2},...,s_{k,l}$，其中$s_{k,1},s_{k,2},...,s_{k,l}$为第k个特征的所有可能的离散值
分桶的数量l就是所有样本在第k个特征上的取值的数量。

分桶的模式

分桶有两种模式

全局模式：在算法开始时，对每个维度分桶一次，后续的分裂都依赖于该分桶并不在更新。
优点是：只需要计算一次，不需要重复计算
缺点是：在经过多次分裂之后，叶节点的样本可能在很多全局桶中是空的

局部模式：除了在算法开始时进行分桶，每次拆分之后再重新分桶
优点是：每次分桶都能保证各桶中的样本数量都是均匀的
缺点是：计算量较大

分桶的超参数

分桶时的桶区间间隔大小是个重要的参数
区间间隔越小，则桶越多，则划分的越精细，候选的拆分点就越多。

加权分桶

定义一个排序函数
假设候选样本的第K维特征，及候选样本的损失函数的二阶偏导数为:$D_k=(x_{1,k},h_1),(x_{2,k},h_2),...,(x_{N,k},h_N)$
定义排序函数
r k ( z ) = ∑ { i ∣ ( x i , k , h i ) ∈ D k , x i , k < z } h i ∑ { i ∣ ( x i , k , h i ) ∈ D k } h i r_{k}(z)=\frac{\sum_{\left\{i |\left(x_{i, k}, h_{i}\right) \in \mathcal{D}_{k}, x_{i, k}<z\right\}} h_{i}}{\sum_{\left\{i |\left(x_{i, k}, h_{i}\right) \in \mathcal{D}_{k}\right\}} h_{i}} rk​(z)=∑{i∣(xi,k​,hi​)∈Dk​}​hi​∑{i∣(xi,k​,hi​)∈Dk​,xi,k​<z}​hi​​
它刻画的是：第K维小于z的样本的h之和，占总的h之和的比例
xgboost的作者提出了一种带权重的桶划分算法。定义候选样本的下标集合为$\mathbb{I}$,拆分点为$S_k=s_{k,1},s_{k,2},...,s_{k,l}$定义为
$$s_{k,1}=\underset{i\in \mathbb{I}}{\min }{x}_{i,k},s_{k,l}=\underset{i\in \mathbb{I}}{\max }{x}_{i,k},\left|r_k\left(s_{k,j}\right)-r_k\left(s_{k,j+1}\right)\right|<ϵ$$
其中$x_{i,k}$表示样本$\overrightarrow{x_i}$的第k个的特征，即：
最小的拆分点是所有样本第k维的最小值。
最大的拆分点是所有样本第k维的最大值。
中间的拆分点：选取拆分点，使得相邻拆分点的排序函数值小于$ϵ$(分桶的桶宽)
其意义为：第K维大于等于$s_{k,j}$,小于$s_{k,j+1}$的样本的h之和，占总的h之和的比例小于$ϵ$。
这种拆分点使得每个桶内的以h为权重的样本数量比较均匀，而不是样本个数比较均匀。

加权分桶的方法的解释

改写以后可以发现，对于第t棵决策树而言，它等价于样本$x_i$的真实label为$\frac{g_i}{h_i}$,权重为$h_i$,损失函数的平方损失。因此分桶时每个桶的权重为h。