Task4 建模与调参

最新推荐文章于 2021-05-05 23:58:16 发布

王小若愚

最新推荐文章于 2021-05-05 23:58:16 发布

阅读量199

点赞数

文章标签： python 机器学习

本文链接：https://blog.csdn.net/m0_53159830/article/details/115220308

版权

Task4 建模与调参

1 模型

1.1 逻辑回归模型

参考地址：逻辑回归模型

1.1.1 综述

将数据拟合到一个logit函数(或者叫做logistic函数)中，从而能够完成对事件发生的概率进行预测。

1.1.2 由线性回归到逻辑回归

由线性回归+阈值的方式可以进行分类任务，但是很难完成一个鲁棒性很好的分类器了。借助sigmoid函数，把线性回归的结果输出是 (0,1) 的一个概率值。

1.1.3 判定边界

由 hθ (x)的复杂度可以形成不同的判定边界。
博客中的例子：
在这里插入图片描述

1.1.4代价函数与梯度下降

代价函数：
在这里插入图片描述
梯度下降：

梯度下降的推导过程可以参照：
推导

Tips：鲁棒性
鲁棒性对应英文单词为robust,中文为健壮的、强壮的,所以说算法的鲁棒性直白点说就是健壮的、强壮的算法，具体来说健壮主要体现在以下三点:
1、模型具有较高的精度或有效性，这也是对于机器学习中所有学习模型的基本要求；
2、对于模型假设出现的较小偏差，只能对算法性能产生较小的影响，比如常说的噪点；
3、对于模型假设出现的较大偏差，不可对算法性能产生“灾难性”的影响，比如离群
参考链接：机器学习中鲁棒性的含义

1.2 决策树模型

参考链接：https://blog.csdn.net/c406495762/article/details/76262487

1.2.1 概念

依据ID3算法
-信息熵：
在这里插入图片描述
-信息增益：

由最大的信息增益的特征进行节点选取。

1.2.2 决策树生成和修剪

决策树生成算法递归地产生决策树，直到不能继续下去未为止。这样产生的树往往对训练数据的分类很准确，但对未知的测试数据的分类却没有那么准确，即出现过拟合现象。过拟合的原因在于学习时过多地考虑如何提高对训练数据的正确分类，从而构建出过于复杂的决策树。

解决这个问题的办法是考虑决策树的复杂度，对已生成的决策树进行简化。可以分成预剪枝和后剪枝。

1.2.3 用Graphviz库使决策树可视化

参照实例输出决策树。可以通过命令行，也可以通过第三方库直接输出决策树。

1.2.4 决策树优缺点

在这里插入图片描述

1.3 GBDT模型梯度提升树

参考链接：https://zhuanlan.zhihu.com/p/45145899

1.3.1 CART回归树

CART树的主要特征是，他是一颗二分树，每个节点特征取值为“是”和“不是”。举个例子，在ID3(1.2中的决策树算法)中如果天气是一个特征，那么基于此的节点特征取值为“晴天”、“阴天”、“雨天”，而CART树中就是“不是晴天”与“是晴天”。
由GINI（值越小说明越纯净）进行特征值节点的选取
算法原理：https://www.jb51.net/article/131084.htm

1.3.2 预剪枝和后剪枝

-预剪枝

预剪枝就是在生成决策树的同时进行剪枝。正常决策树的生成是只要有信息增益就要进行分支。预剪枝就是设定一个阈值，只有在信息增益大于这个阈值的时候（也即是在分类后的信息混乱程度减小程度大于一定标准的时候）才进行分类。如果在信息增益过小的情况下，即使存在信息增益的现象，也不会对其进行分支。预剪枝的思想比较简单，但在实际应用中，预剪枝的表现并不是很好。所以，目前我们基本都是使用后剪枝方法。

-后剪枝

后剪枝就是在决策树构造完成后进行剪枝。剪枝的过程是对拥有相同父节点的一组节点进行检查，如果将其合并，熵增小于某一阈值，那么这一组节点可以合并一个节点。如果将其合并后熵增大于这个阈值，那么说明将其分枝是合理的。后剪枝就是删除一些子树，然后用其叶节点代替。这个叶节点代表的子集不一定都是“纯”的。那么，这个叶子节点所标识的类别通过大多数原则确定。大多数原则就是指这个叶节点所代表的子集中大多数的类别来表示这个叶节点。

剪枝算法——CCP算法原理
在这里插入图片描述
其余剪枝算法可参考：https://blog.csdn.net/weixin_43216017/article/details/87534496

其余模型原理不再展开叙述，本质上仍是集成算法

推荐入门学习视频：吴恩达机器学习经典名课【中英字幕】

2 模型对比与性能评估

2.1 逻辑回归

优点
- 训练速度较快，分类的时候，计算量仅仅只和特征的数目相关；
- 简单易理解，模型的可解释性非常好，从特征的权重可以看到不同的特征对最后结果的影响；
- 适合二分类问题，不需要缩放输入特征；
- 内存资源占用小，只需要存储各个维度的特征值；
缺点
- 逻辑回归需要预先处理缺失值和异常值【可参考task3特征工程】；
- 不能用Logistic回归去解决非线性问题，因为Logistic的决策面是线性的；
- 对多重共线性数据较为敏感，且很难处理数据不平衡的问题；
- 准确率并不是很高，因为形式非常简单，很难去拟合数据的真实分布；

2.2 决策树模型

优点
- 简单直观，生成的决策树可以可视化展示
- 数据不需要预处理，不需要归一化，不需要处理缺失数据
- 既可以处理离散值，也可以处理连续值
缺点
- 决策树算法非常容易过拟合，导致泛化能力不强（可进行适当的剪枝）
- 采用的是贪心算法，容易得到局部最优解

2.3 集成模型集成方法（ensemble method）

通过组合多个学习器来完成学习任务，通过集成方法，可以将多个弱学习器组合成一个强分类器，因此集成学习的泛化能力一般比单一分类器要好。

集成方法主要包括Bagging和Boosting，Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来，形成一个更加强大的分类。两种方法都是把若干个分类器整合为一个分类器的方法，只是整合的方式不一样，最终得到不一样的效果。常见的基于Baggin思想的集成模型有：随机森林、基于Boosting思想的集成模型有：Adaboost、GBDT、XgBoost、LightGBM等。

Baggin和Boosting的区别总结如下：

样本选择上： Bagging方法的训练集是从原始集中有放回的选取，所以从原始集中选出的各轮训练集之间是独立的；而Boosting方法需要每一轮的训练集不变，只是训练集中每个样本在分类器中的权重发生变化。而权值是根据上一轮的分类结果进行调整
样例权重上： Bagging方法使用均匀取样，所以每个样本的权重相等；而Boosting方法根据错误率不断调整样本的权值，错误率越大则权重越大
预测函数上： Bagging方法中所有预测函数的权重相等；而Boosting方法中每个弱分类器都有相应的权重，对于分类误差小的分类器会有更大的权重
并行计算上： Bagging方法中各个预测函数可以并行生成；而Boosting方法各个预测函数只能顺序生成，因为后一个模型参数需要前一轮模型的结果。

2.4 模型评估方法

2.4.1 数据集划分

对于数据集的划分有三种方法：留出法，交叉验证法和自助法，：

①留出法

留出法是直接将数据集D划分为两个互斥的集合，其中一个集合作为训练集S，另一个作为测试集T。需要注意的是在划分的时候要尽可能保证数据分布的一致性，即避免因数据划分过程引入额外的偏差而对最终结果产生影响。为了保证数据分布的一致性，通常我们采用分层采样的方式来对数据进行采样。

Tips： 通常，会将数据集D中大约2/3~4/5的样本作为训练集，其余的作为测试集。
②交叉验证法

k折交叉验证通常将数据集D分为k份，其中k-1份作为训练集，剩余的一份作为测试集，这样就可以获得k组训练/测试集，可以进行k次训练与测试，最终返回的是k个测试结果的均值。交叉验证中数据集的划分依然是依据分层采样的方式来进行。

对于交叉验证法，其k值的选取往往决定了评估结果的稳定性和保真性，通常k值选取10。

当k=1的时候，我们称之为留一法
③自助法

我们每次从数据集D中取一个样本作为训练集中的元素，然后把该样本放回，重复该行为m次，这样我们就可以得到大小为m的训练集，在这里面有的样本重复出现，有的样本则没有出现过，我们把那些没有出现过的样本作为测试集。

进行这样采样的原因是因为在D中约有36.8%的数据没有在训练集中出现过。留出法与交叉验证法都是使用分层采样的方式进行数据采样与划分，而自助法则是使用有放回重复采样的方式进行数据采样

数据集划分总结

对于数据量充足的时候，通常采用留出法或者k折交叉验证法来进行训练/测试集的划分；
对于数据集小且难以有效划分训练/测试集时使用自助法；
对于数据集小且可有效划分的时候最好使用留一法来进行划分，因为这种方法最为准确

2.4.2 评估指标

因为在之前的博客中已经提到，结合之前的基础也容易理解，在这里就不展开原理。
见链接：常见的模型评估指标：https://www.sohu.com/a/196865493_99950807

混淆矩阵（召回率、精确率）
提升图&洛伦兹图
ROC曲
基尼系数
ks曲线

3 部分代码注释

3.1 自定义f1_score_vali函数

# 自定义评价指标，在模型迭代中返回验证集f1-score变化情况。
def f1_score_vali(preds, data_vali):
    labels = data_vali.get_label() # 真实的标签
    preds = np.argmax(preds.reshape(4, -1), axis=0) # 取出预测类别
    # 设N为类别数目，M为样本数量
    # preds返回一维数组，用preds.reshape(N, -1)转换为N*M的数组
    # argmax（N*M, axis=0）求出每一列最大值的索引，也就是对应的类别
    #（axis的应用可以参见百度）
    score_vali = f1_score(y_true=labels, y_pred=preds, average='macro')
    return 'f1_score', score_vali, True

分行展示：
在这里插入图片描述

3.2 lightgbm实例

"""对训练集数据进行划分，分成训练集和验证集，并进行相应的操作"""
from sklearn.model_selection import train_test_split
import lightgbm as lgb
# 应用K折进行数据集划分
X_train_split, X_val, y_train_split, y_val = train_test_split(X_train, y_train, test_size=0.2)
train_matrix = lgb.Dataset(X_train_split, label=y_train_split)
valid_matrix = lgb.Dataset(X_val, label=y_val)

params = {
    "learning_rate": 0.1,
    "boosting": 'gbdt',  
    "lambda_l2": 0.1,
    "max_depth": -1,
    "num_leaves": 128,
    "bagging_fraction": 0.8,
    "feature_fraction": 0.8,
    "metric": None,
    "objective": "multiclass",
    "num_class": 4,
    "nthread": 10,
    "verbose": -1,
}

"""使用训练集数据进行模型训练"""
model = lgb.train(params, 
                  train_set=train_matrix, 
                  valid_sets=valid_matrix, 
                  num_boost_round=2000, 
                  verbose_eval=50, 
                  early_stopping_rounds=200,
                  feval=f1_score_vali)