心跳信号分类预测Task04建模与调参

最新推荐文章于 2022-02-12 11:12:19 发布

l852131652

最新推荐文章于 2022-02-12 11:12:19 发布

阅读量435

点赞数

文章标签： python 数据挖掘神经网络

本文链接：https://blog.csdn.net/l852131652/article/details/115184077

版权

本文详细介绍了心跳信号分类预测任务，涉及逻辑回归、决策树、GBDT、XGBoost、LightGBM、Catboost及时间序列模型的原理与应用。通过天池实验室的GPU，作者进行了模型对比与性能评估，包括模型优缺点、调参方法（如贝叶斯调参、网格搜索和贪心调参），并展示了使用LightGBM进行建模和调参的代码示例。

摘要由CSDN通过智能技术生成

本次学习利用天池实验室的GPU完成。

1. 学习目标

学习机器学习模型的建模过程与调参流程

2.学习内容

逻辑回归模型：
理解逻辑回归模型；
逻辑回归模型的应用；
逻辑回归的优缺点；
树模型：
理解树模型；
树模型的应用；
树模型的优缺点；
集成模型：
- 基于bagging思想的集成模型
  随机森林模型
- 基于boosting思想的集成模型
  XGBoost模型
  LightGBM模型
  CatBoost模型
模型对比与性能评估：
回归模型/树模型/集成模型；
模型评估方法；
模型评价结果；
模型调参：
贪心调参方法；
网格调参方法；
贝叶斯调参方法；

3.模型原理

由于该部分的原理过多，因此只给出了学习链接和自己的一些理解。

3.1 逻辑回归模型

逻辑回归
逻辑回归是对线性回归的一种改进。信号的分类预测问题实际上可以看作是对坐标系空间下的多个点进行划分，如下图中（a）利用线性模型可以对不同颜色的点进行二分类，但是实际经常存在如图（b）中的情况，简单的线性模型无法将实现分类，由此出现了逻辑回归模型。
在这里插入图片描述
逻辑回归模型能够将线性回归的结果映射为可以帮助判断和分类的结果，其核心是利用sigmoid函数增加模型的非线性，即预测函数由Y=W^TX转换为Y= g(W^TX)，其中：

逻辑回归的代价函数如下：

后面模型太多了。。以后再慢慢补充

4 模型对比与性能评估

4.1 逻辑回归（核心是sigmoid函数）

优点
训练速度较快，分类的时候，计算量仅仅只和特征的数目相关；
简单易理解，模型的可解释性非常好，从特征的权重可以看到不同的特征对最后结果的影响；
适合二分类问题，不需要缩放输入特征；
内存资源占用小，只需要存储各个维度的特征值；
缺点
逻辑回归需要预先处理缺失值和异常值【参考task3特征工程】；
不能用Logistic回归去解决非线性问题，因为Logistic的决策面是线性的；
对多重共线性数据较为敏感，且很难处理数据不平衡的问题；
准确率并不是很高，因为形式非常简单，很难去拟合数据的真实分布；

4.2 决策树模型

优点
简单直观，生成的决策树可以可视化展示
数据不需要预处理，不需要归一化，不需要处理缺失数据
既可以处理离散值，也可以处理连续值
缺点
决策树算法非常容易过拟合，导致泛化能力不强（可进行适当的剪枝）
采用的是贪心算法，容易得到局部最优解

4.3 集成模型集成方法（ensemble method）

通过集成方法，可以将多个弱学习器组合成一个强分类器，因此集成学习的泛化能力一般比单一分类器要好。

集成方法主要包括Bagging和Boosting，Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来，形成一个更加强大的分类。两种方法都是把若干个分类器整合为一个分类器的方法，只是整合的方式不一样，最终得到不一样的效果。常见的基于Baggin思想的集成模型有：随机森林、基于Boosting思想的集成模型有：Adaboost、GBDT、XgBoost、LightGBM等。

Baggin和Boosting的区别总结如下：

样本选择上： Bagging方法的训练集是从原始集中有放回的选取，所以从原始集中选出的各轮训练集之间是独立的；而Boosting方法需要每一轮的训练集不变，只是训练集中每个样本在分类器中的权重发生变化。而权值是根据上一轮的分类结果进行调整
样例权重上： Bagging方法使用均匀取样，所以每个样本的权重相等；而Boosting方法根据错误率不断调整样本的权值，错误率越大则权重越大
预测函数上： Bagging方法中所有预测函数的权重相等；而Boosting方法中每个弱分类器都有相应的权重，对于分类误差小的分类器会有更大的权重
并行计算上： Bagging方法中各个预测函数可以并行生成；而Boosting方法各个预测函数只能顺序生成，因为后一个模型参数需要前一轮模型的结果。

4.4 模型评估方法

对于模型来说，其在训练集上面的误差被称之为训练误差或者经验误差，而在测试集上的误差称之为测试误差。

学习目标：通过对已有样本的学习，尽可能的学习所有潜在样本的普遍规律，而如果模型对训练样本学的太好，则有可能把训练样本自身所具有的一些特点当做所有潜在样本的普遍特点，这时候我们就会出现过拟合的问题。

因此通常将已有的数据集划分为训练集和测试集两部分，其中训练集用来训练模型，而测试集则是用来评估模型对于新样本的判别能力。

对于数据集的划分，通常要保证满足以下两个条件：

训练集和测试集的分布要与样本真实分布一致，即训练集和测试集都要保证是从样本真实分布中独立同分布采样而得；
训练集和测试集要互斥
对于数据集的划分有三种方法：留出法，交叉验证法和自助法，下面挨个介绍：

①留出法

留出法是直接将数据集D划分为两个互斥的集合，其中一个集合作为训练集S，另一个作为测试集T。需要注意的是在划分的时候要尽可能保证数据分布的一致性，即避免因数据划分过程引入额外的偏差而对最终结果产生影响。为了保证数据分布的一致性，通常我们采用分层采样的方式来对数据进行采样。

Tips：通常，会将数据集D中大约2/3~4/5的样本作为训练集，其余的作为测试集。

②交叉验证法

k折交叉验证通常将数据集D分为k份，其中k-1份作为训练集，剩余的一份作为测试集，这样就可以获得k组训练/测试集，可以进行k次训练与测试，最终返回的是k个测试结果的均值。交叉验证中数据集的划分依然是依据分层采样的方式来进行。

对于交叉验证法，其k值的选取往往决定了评估结果的稳定性和保真性，通常k值选取10。

当k=1的时候，我们称之为留一法

③自助法

我们每次从数据集D中取一个样本作为训练集中的元素，然后把该样本放回，重复该行为m次，这样我们就可以得到大小为m的训练集，在这里面有的样本重复出现，有的样本则没有出现过，我们把那些没有出现过的样本作为测试集。

进行这样采样的原因是因为在D中约有36.8%的数据没有在训练集中出现过。留出法与交叉验证法都是使用分层采样的方式进行数据采样与划分，而自助法则是使用有放回重复采样的方式进行数据采样

数据集划分总结

对于数据量充足的时候，通常采用留出法或者k折交叉验证法来进行训练/测试集的划分；
对于数据集小且难以有效划分训练/测试集时使用自助法；
对于数据集小且可有效划分的时候最好使用留一法来进行划分，因为这种方法最为准确（留一法、交叉验证法区别）

5.代码示例

5.1 导入包并读取数据

首先导入相关包：

import pandas as pd
import numpy as np
from sklearn.metrics import f1_score

import os
import seaborn as sns
import matplotlib.pyplot as plt
from sklearn.model_selection import KFold

import warnings
warnings.filterwarnings("ignore")

在天池GPU中安装sklearn和seaborn时遇到一些问题，总结在了上一篇博客里：天池实验室安装库时遇到的问题

定义函数reduce_mem_usage，用来调整数据类型，减少数据在内存中占用的空间。
有关代码中fifo的用法：np.fifo()
有关此函数的具体实现并没有细致的分析，但是大致思想是通过转换数据的类型来达到减少内存的目的（例如：如果数据类型是int32，但实际上数据比较小，用int8就可以存储，那么就转换一下数据类型，从而可以减少内存）

def reduce_mem_usage(df):
    start_mem = df.memory_usage().sum() / 1024**2 
    print('Memory usage of dataframe is {:.2f} MB'.format(start_mem))
    
    for col in df.columns:
        col_type = df[col].dtype
        
        if col_type != object:
            c_min = df[col].min()
            c_max = df[col].max()
            if str(col_type)[:3] == 'int':
                if c_min > np.iinfo(np.int8).min and c_max < np.iinfo(np.int8).max:
                    df[col] = df[col].astype(np.int8)
                elif c_min > np.iinfo(np.int16).min and c_max < np.iinfo(np.int16).max:
                    df[col] = df[col].astype(np.int16)
                elif c_min > np.iinfo(np.int32).min and c_max < np.iinfo(np.int32).max:
                    df[col] = df[col].astype(np.int32)
                elif c_min > np.iinfo(np.int64).min and c_max < np.iinfo(np.int64).max:
                    df[col] = df[col].astype(np.int64)  
            else:
                if c_min > np.finfo(np.float16).min and c_max < np.finfo(np.float16).max:
                    df[col] = df[col].astype(np.float16)
                elif c_min > np.finfo(np.float32).min and c_max < np.finfo(np.float32).max:
                    df[col] = df[col].astype(np.float32)
                else:
                    df[col] = df[col].astype(np.float64)
        else:
            df[col] = df[col].astype('category')

    end_mem = df.memory_usage().