基于LightGBM算法实现数据挖掘！

↑↑↑关注后"星标"Datawhale

每日干货 & 每月组队学习，不错过

 Datawhale干货 

作者：黄雨龙，中国科学技术大学

对于回归问题，Datawhale已经梳理过完整的实践方案（可点击），本文对多分类的数据挖掘问题做了完整的方案总结。

一、赛题数据

赛题背景

本赛题是一个多分类的数据挖掘问题。赛题以医疗数据挖掘为背景，要求选手使用提供的心跳信号传感器数据训练模型并完成不同心跳信号的分类的任务。

实践地址：https://tianchi.aliyun.com/competition/entrance/531883/information

赛题介绍

• 任务：赛题以预测心电图心跳信号类别为任务

• 数据集：

• • 10万条作为训练集；

  • 2万条作为测试集A；

  • 2万条作为测试集B；

  • 对心跳信号类别（label）信息进行脱敏。

字段描述

• id：为心跳信号分配的唯一标识

• heartbeat_signals：心跳信号序列数据，其中每个样本的信号序列采样频次一致，长度相等（每个样本有205条记录）。

• label：心跳信号类别（0、1、2、3）

评测标准

选手需提交4种不同心跳信号预测的概率，选手提交结果与实际心跳类型结果进行对比，求预测的概率与真实值差值的绝对值（越小越好）。

总共有n个病例，针对某一个信号，若真实值为[y1,y2,y3,y4],模型预测概率值为[a1,a2,a3,a4],那么该模型的评价指标abs-sum为 ：

例如 ，某心跳信号类别为1，通过编码转成[0,1,0,0]，预测不同心跳信号概率为[0.1,0.7,0.1,0.1]，那么这个信号预测结果的abs-sum为 ：

简单小结

• 根据赛题数据可以知道，此问题为「分类问题」，且为「多分类问题」，分类算法可以考虑，如「LR」、「贝叶斯分类」、「决策树」等等。

• 根据评测标准，每一个心跳样本都要输出4个类别下的概率值，所以可以用「逻辑回归LR」or 「贝叶斯分类」实现？

• 由于心跳信号自带明显的「时序特征」（心跳参数随时间变化），在后续的数据处理过程中要考虑「时序特征」所来来的影响？

• 根据评测公式，更关注的是「查准率」，即预测准确率越高，值就越小（模型得分目标）

根据初步理解，我会初步使用「逻辑回归LR算法」，给出每个分类下的概率值。

二、数据读取

Baseline文档可以粗略的划分以下几个部分：

工具包准备