task4——模型和调参

数据挖掘竞赛中通常用到的模型包括xgboost、lightgbm，SVM等。掌握每种模型的原理是学会应用模型的前提条件。因此，本篇文章主要用于梳理线性回归模型、决策树模型、GBDT模型的原理及模型的调参方法。

1.线性回归模型

线性回归模型是入门机器学习的经典模型。其基本形式为：
$$h_{\theta }(x)=\sum _{i=1}^n{\theta }_i{x}_i={\theta }^{T}X$$
因现实世界中无法做到严格预测出正确结果，预测结果和真实值之间存在一定的误差，因此，线性回归模型一般记作：
$$h_{\theta }(x)={\theta }^{T}X+ϵ$$
每个样本的预测值与真实值之间都存在${ϵ}^i$，根据中心极限定理可知，${ϵ}^i$服从均值为0，方差为${\sigma }^2$的正态分布。
$$y^i={\theta }^T{x}^i+{ϵ}^i$$
$$P({ϵ}^i)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{{({ϵ}^i)}^2}{2{\sigma }^2}}$$
$${ϵ}^i=y^i-{\theta }^T{x}^i$$
$$P(y^i-{\theta }^T{x}^i)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{{(y^i-{\theta }^T{x}^i)}^2}{2{\sigma }^2}}$$
根据上述单样本公式构建线性回归模型的对数似然函数，公式为：
$$P(y^i-{\theta }^T{x}^i)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{{(y^i-{\theta }^T{x}^i)}^2}{2{\sigma }^2}}$$
通过对似然函数取对数后得到损失函数：
$$loss=\sum _{i=1}^n(h_{\theta }(x^i)-y^i{)}^2$$
通过BGD或SGD的方式可求解$\theta$。

2.决策树模型

概念：决策树模型是一种自顶向下的模型，它以信息熵为度量构建了一颗熵值下降最快的树，到叶子节点是熵值下降为0，此时每个叶子节点的每个实例都属于同一类。
决策树通常包括三种：ID3、C4.5、CART。三种的区别在于度量标准不同。ID3采用信息增益作为度量指标，C4.5采用信息增益率，CART是基尼系数。
（1）信息增益：
g(D,A) = H(D) - H(D|A)
(2)信息增益率
gr(D,A) = g(D,A)/H(A)
(3)基尼系数
决策树的评价函数为：
$$C(t)=\sum _t{N}_{t}H(t)$$
为防止决策树过拟合，通常需要对决策树进行剪枝，因此修正后的评价函数为：
$$C(t)=\sum _t{N}_{t}H(t)+\alpha |T_{leaf}|$$

3.随机森林

随机森林有多颗决策树组成，基本步骤如下：
（1）从样本集中采用Bootstrap采样采集得到n个样本；
（2）从所有属性中随机选择k个属性，选择k个属性中的最佳分割属性作为节点构建CART决策树；
（3）重复以上两步m次，构建m棵决策树；
（4）m棵决策树形成随机森林，通过投票表决机制，决定实例属于哪一类。

4.GBDT

GBDT模型是一个集成模型，是对很多CART树的线性相加。即给定一个目标损失函数，定义域为所有可行的弱函数集合，通过迭代的选择一个负梯度方向上的基函数来逐渐逼近局部极小值。
GBDT的损失函数定义为：
$$L(f_t(x),y)=L(f_{t-1}+h_t(x),y)$$
第t轮的第i个样本的损失函数的负梯度表示为：
$$r_{t,i}=-[\frac{\delta L(y,f(x_i))}{\delta f(x_i)}]$$
对于每一个叶子节点的样本，需要求出使损失函数最小，拟合叶子节点最好的输出值ctj：
$$c_{t,j}=argmin\sum _{x_i}L(y_i,f_{t-1}(x_i+c))$$
此时本轮的决策树拟合函数为：
$$h_t(x)=\sum _{j=1}^J{c}_{t,j}I(x\in R_{t,j})$$
所以这轮迭代得到的强学习器为:
$$f_t(x)=f_{t-1}(x)+h_t(x)$$