【数据挖掘】心跳信号分类预测之建模调参 —— 学习笔记（四）

最新推荐文章于 2021-07-24 13:08:58 发布

何处闻韶

最新推荐文章于 2021-07-24 13:08:58 发布

阅读量1.6k

点赞数 2

分类专栏：【机器学习与深度学习】

本文链接：https://blog.csdn.net/qq_39478403/article/details/115132330

版权

四、建模调参

超参数 是指模型在训练过程中并不能直接从数据学习到的参数，如随机梯度下降算法中的 学习率 (步长)。出于计算复杂度和算法效率等，我们并不能从数据中直接学习一个普适性较强的学习速，该超参数却又十分重要：较大的学习率令模型不易收敛到合适的较小值，而较小的学习速率使模型训练过慢。对于这类超参数，通常需要在训练模型前设定好。因此，对于超参数众多的复杂模型，微调超参数就变得相当艰难，而如何 高效地搜索潜在的超参数空间 就显得十分重要。

4.1 内容简介

1) 模型原理与性质概述

逻辑回归模型

树模型

集成模型

2) 模型对比与性能评估

逻辑回归模型/树模型/集成模型；

模型评估方法；

模型评价结果；

3) 模型调参方法概述

贪心调参方法；

网格调参方法；

贝叶斯调参方法；

4.2 模型原理与性质概述

4.2.1 分类模型

逻辑回归模型：https://blog.csdn.net/han_xiaoyang/article/details/49123419

决策树模型：https://blog.csdn.net/c406495762/article/details/76262487

GBDT 模型：https://zhuanlan.zhihu.com/p/45145899

XGBoost 模型：https://blog.csdn.net/wuzhongqiang/article/details/104854890

LightGBM 模型：https://blog.csdn.net/wuzhongqiang/article/details/105350579

Catboost 模型：https://mp.weixin.qq.com/s/xloTLr5NJBgBspMQtxPoFA

4.2.2 时间序列模型

RNN：https://zhuanlan.zhihu.com/p/45289691

LSTM：https://zhuanlan.zhihu.com/p/83496936

4.2.3 推荐教材

《机器学习》：https://book.douban.com/subject/26708119/

《统计学习方法》：https://book.douban.com/subject/10590856/

《面向机器学习的特征工程》：https://book.douban.com/subject/26826639/

《信用评分模型技术与应用》：https://book.douban.com/subject/1488075/

《数据化风控》：https://book.douban.com/subject/30282558/

4.3 模型对比与性能评估

4.3.1 逻辑回归

1) 优点

训练速度较快，分类的时候，计算量仅仅只和特征的数目相关；

简单易理解，模型的可解释性非常好，从特征的权重可以看到不同的特征对最后结果的影响；

适合二分类问题，不需要缩放输入特征；

内存资源占用小，只需要存储各个维度的特征值；

2) 缺点

逻辑回归需预处理缺失值/异常值；

不能用逻辑回归回归去解决非线性问题，因其决策面是线性的；

对多重共线性数据较为敏感，且很难处理数据不平衡的问题；

准确率并不高，因为形式非常简单，很难去拟合数据的真实分布；

4.3.2 决策树模型

1) 优点

简单直观，生成的决策树可以可视化展示；

数据不需要预处理，无需归一化，无需处理缺失值；

既可以处理离散值，也可以处理连续值；

2) 缺点

决策树算法非常容易过拟合，导致泛化能力不强 (可进行适当剪枝)；

采用的是贪心算法，容易得到局部最优解；

4.3.3 集成模型

集成模型通过组合多个学习器来完成学习任务。通过集成方法，可将多个弱学习器组合成一个强分类器，因此集成学习的泛化能力一般比单一分类器要好。

集成方法主要包括 Bagging 和 Boosting，Bagging 和 Boosting 都是将已有的分类或回归算法通过一定方式组合起来，形成一个更加强大的分类。两种方法都是把若干个分类器整合为一个分类器的方法，只是整合的方式不一样，最终得到不一样的效果。常见的基于 Baggin 思想的集成模型有：随机森林；基于 Boosting 思想的经典集成模型有：Adaboost、GBDT、XgBoost、LightGBM 等。

Bagging 和 Boosting 的区别：

样本选择上：Bagging 方法的训练集是从原始集中有放回的选取，所以从原始集中选出的各轮训练集之间是独立的；而 Boosting 方法需要每一轮的训练集不变，只是训练集中每个样本在分类器中的权重发生变化。而权值是根据上一轮的分类结果进行调整

样例权重上：Bagging 方法使用均匀取样，所以每个样本的权重相等；而 Boosting 方法根据错误率不断调整样本的权值，错误率越大则权重越大

预测函数上：Bagging 方法中所有预测函数的权重相等；而 Boosting 方法中每个弱分类器都有相应的权重，对于分类误差小的分类器会有更大的权重

并行计算上：Bagging 方法中各个预测函数可以并行生成；而 Boosting 方法各个预测函数只能顺序生成，因为后一个模型参数需要前一轮模型的结果。

4.4 模型评估方法概述

4.4.1 模型评估方法

对于模型来说，其在训练集上面的误差称之为 训练误差 / 经验误差，而在测试集上的误差称之为 测试误差。

对于我们来说，更关心的是模型对于新样本的学习能力，即我们希望通过对已有样本的学习，尽可能的将所有潜在样本的普遍规律学到手，而如果模型对训练样本学的太好，则有可能把训练样本自身所具有的一些特点当做所有潜在样本的普遍特点，这时候我们就会出现 过拟合 的问题。

因此我们通常将已有的数据集划分为训练集和测试集两部分，其中 训练集 用来训练模型，而 测试集 则是用来评估模型对于新样本的判别能力。

对于数据集的划分，通常要保证满足以下两个条件：

训练集和测试集的分布要与样本真实分布一致，即训练集和测试集都要保证是从样本真实分布中独立同分布采样而得；

训练集和测试集要互斥

对于数据集的划分，主要有三种方法：留出法，交叉验证法 和 自助法。

1) 留出法

留出法是直接将数据集 $D$ 划分为两个互斥的集合，其中一个集合作为训练集 $S$ ，另一个作为测试集 $T$ 。需注意划分时要尽可能保证数据分布的一致性，即避免因数据划分过程引入额外的偏差而对最终结果产生影响。为保证数据分布的一致性，通常我们采用 分层采样 的方式来对数据进行采样。通常，会将数据集 $D$ 中约 $\frac{2}{3} \sim \frac{4}{5}$ 的样本作为训练集，其余的作为测试集

2) 交叉验证法

k 折交叉验证 通常将数据集 $D$ 均分为 $k$ 份，其中 $k-1$ 份作训练集，剩余 $1$ 份作测试集，从而获得 $k$ 组训练/测试集，可以进行 $k$ 次训练与测试，最终返回的是 $k$ 个测试结果的均值，如上图展示了 $k = 5$ 时的数据集分割情况。交叉验证中数据集的划分依然是依据 分层采样 的方式来进行。对于交叉验证法，其 $k$ 值的选取往往决定了评估结果的稳定性和保真性，通常 $k$ 值选取 $5$ 或 $10$ 。当 $k = 1$ 时，称之为 留一法。

3) 自助法

每次从数据集 $D$ 中取一个样本作为训练集中的元素，然后把该样本放回，重复该行为 $n$ 次，即得大小为 $n$ 的训练集，其中，有的样本重复出现，有的样本则从未出现过，从未出现过的样本将作为测试集。其中， $D$ 中约有 $36.8%$ 的数据没有在训练集中出现过。留出法与交叉验证法都是使用 分层采样 的方式进行数据采样与划分，而自助法则是使用 有放回重复采样。

关于 36.8% 的数据从未出现的原因：

4) 小结

对于数据量充足时，通常采用 留出法 或 k 折交叉验证法 划分；

对于数据集小且难以有效划分训练/测试集时，使用 自助法；

对于数据集小且可有效划分训练/测试集时，最好使用 留一法，因为这种方法最为准确。

4.4.2 模型评价标准

本赛选用 F1-score 作为模型评价标准，关于评价指标，首先复习相关内容再作概述。

精确率 $Precision$ 和召回率 $Recall$ 主要用于 二分类 问题。结合 混淆矩阵 (confusion matrix) 如下所示：

其中，各标识含义为：

TP (真正，True Positive)：把 正样本 (P) 正确地 分类为 正类 (P)。换言之，预测的正样本确为真的正样本
TN (真负，True Negative)：把 负样本 (N) 正确地 分类为 负类 (T)。换言之，预测的负样本确为真的负样本
FP (假正，False Positive)：把 负样本 (N) 错误地 分类为 正类 (P)。换言之，预测的正样本惜为假的正样本 —— 实际是负样本 (I 类错误)
FN (假负，False Negative)：把 正样本(P) 错误地 分类为 负类 (T)。换言之，预测的负样本惜为假的负