Task4

目的

当我们建立好机器学习模型后，预测数据会与我们期望的有所偏差，这时我们就需要进行参数调整。

模型调参

调参，我们主要有3种常见的模式。

• 贪心调参方法
• 网格调参方法
• 贝叶斯调参方法
  贪心调参方法是指，在对问题求解时，总是做出在当前看来是最好的选择。也就是说，不从整体最优上加以考虑，它所做出的仅仅是在某种意义上的局部最优解。选择的贪心策略必须具备无后效性

网格调参方法是指当你算法模型效果不是很好时，可以通过该方法来调整参数，通过循环遍历，尝试每一种参数组合，返回最好的得分值的参数组合。但是容易出现过拟合。

贝叶斯调参方法通过基于目标函数的过去评估结果建立替代函数（概率模型），来找到最小化目标函数的值。贝叶斯方法与随机或网格搜索的不同之处在于，它在尝试下一组超参数时，会参考之前的评估结果，因此可以省去很多无用功。但是超参数的评估代价很大，因为它要求使用待评估的超参数训练一遍模型，而许多深度学习模型动则几个小时几天才能完成训练，并评估模型，因此耗费巨大。贝叶斯调参发使用不断更新的概率模型，通过推断过去的结果来“集中”有希望的超参数。

综合上述概况，3种调参都有优缺点，熟练掌握，灵活运用才是关键。

内容部分

从模型创建开始说起，常见的模型：

• 线性回归模型
• 决策树模型
• GBDT模型
• XGBoost模型
• LightGBM模型
• 简单介绍一下几种模型：

线性回归是一种被广泛应用的回归技术，也是机器学习里面最简单的一个模型，它有很多种推广形式，本质上它是一系列特征的线性组合，在二维空间中，你可以把它视作一条直线，在三维空间中可以视作是一个平面。线性回归最普通的形式是f(x)=w’x+b

决策树模型简单来讲就是递归树建立深度优先搜索机制。

GBDT模型是一个集成模型，可以看做是很多个基模型的线性相加，其中的基模型就是CART回归树。CART树是一个决策树模型，与普通的ID3，C4.5相比，CART树的主要特征是，他是一颗二分树，每个节点特征取值为“是”和“不是”。这样的决策树递归的划分每个特征，并且在输入空间的每个划分单元中确定唯一的输出。

XGBoost模型实际上是一种对GBDT的实现叭，Xgboost在建基模型树的时候，加入了正则项，相对于GBDT会控制基模型的…大小。然后Xgboost在建树的时候好像是采用了并行策略，多线程在跑。效果要优于GBDT

LightGBM模型不需要通过所有样本计算信息增益了，而且内置特征降维技术，所以更快。同时精度还高