Task4建模和调参整理

1.概念和作用

此部分利用特征工程得到的数据，尝试用各种模型进行拟合。包括各种模型的比较和各种调参方法的比较。

2.标签数据处理

很多模型假设数据误差项服从正态分布，所以需要对数据进行log(x+1)变换消除标签的长尾效应，使标签接近正态分布。

train_y_ln = np.log(train_y + 1)

标签正态化之前，预测值和真实值之间偏差较大：
标签正态化之后，预测值和真实值之间偏差明显减小：

3.模型比较

3.1 线性模型

（1）线性回归

（2） Ridge回归

在线性回归的基础上加上L1正则化的方法称为Ridge回归。L1正则化是嵌入式特征选择方法中的一种。

（3）Lasso回归

在线性回归的基础上加上L2正则化的方法称为Lasso回归。L2正则化是嵌入式特征选择方法中的一种。
对这几种模型利用五折交叉验证进行训练：

from sklearn.linear_model import LinearRegression
from sklearn.linear_model import Ridge
from sklearn.linear_model import Lasso
models = [LinearRegression(),
          Ridge(),
          Lasso()]
 
result = dict()
for model in models:
    model_name = str(model).split('(')[0]
    scores = cross_val_score(model, X=train_X, y=train_y_ln, verbose=0, cv = 5, scoring=make_scorer(mean_absolute_error))
    result[model_name] = scores
    result = pd.DataFrame(result)
result.index = ['cv' + str(x) for x in range(1, 6)]
    print(result)

对这三种线性模型的方法进行比较，score分数越小模型拟合效果越好，所以这三种线性模型中，线性回归的拟合效果最好。（不知道为什么L2正则化效果这么差= =）

3.2 非线性模型

（1）决策树模型DecisionTreeRegressor

（2）随机森林模型RandomForestRegressor

（3）Gradient Boosting：在迭代的时候选择梯度下降的方向来保障最后的结果最好

（4）XGBoost模型

（5）LightGBM模型

非线性模型和线性回归的拟合结果比较，发现随机森林模型最为有效

4.模型调参

以LGBoost算法为例，利用三种调参方法分别调参，找到最优的超参数组合（objective, num_leaves, max_depth）

4.1 贪心算法

分别对LGBoost的objective, num_leaves, max_depth进行调参，调参后误差逐渐下降如下图所示：

4.2 网格调参

调参后误差由0.155430降到0.15072

4.3 贝叶斯调参

调参后误差由0.155430降到0.142818