数据挖掘训练营赛题理解学习笔记

本学习笔记为阿里云天池龙珠计划Docker训练营的学习内容，学习链接为：-天池实验室-实时在线的数据分析协作工具，享受免费计算资源 (aliyun.com)

一、学习知识点概要

本文主要通过一道入门级别竞赛题，对赛题，数据及预测指标作了详细说明，并给出了部分代码示例。

以下是学习目标：

• 理解赛题数据和目标，清楚评分体系。
• 完成相应报名，下载数据和结果提交打卡（可提交示例结果），熟悉比赛流程

二、学习内容

1.评估指标

评估指标即是我们对于一个模型效果的数值型量化。（有点类似与对于一个商品评价打分，而这是针对于模型效果和理想效果之间的一个打分）

分类算法常见的评估指标如下：

• 对于二类分类器/分类算法，评价指标主要有accuracy， [Precision，Recall，F-score，Pr曲线]，ROC-AUC曲线。
• 对于多类分类器/分类算法，评价指标主要有accuracy， [宏平均和微平均，F-score]。

  平均绝对误差（Mean Absolute Error，MAE）:

• 

•  均方误差（Mean Squared Error，MSE）

• 

• R2（R-Square）的公式为：

• 

• R2R2用于度量因变量的变异中可由自变量解释部分所占的比例，取值范围是 0~1，R2R2越接近1,表明回归平方和占总平方和的比例越大,回归线与各观测点越接近，用x的变化来解释y值变化的部分就越多,回归的拟合程度就越好。所以R^2也称为拟合优度（Goodness of Fit）的统计量。

• yiyi表示真实值，^yiy^i表示预测值，¯¯¯yiy¯i表示样本均值。得分越高拟合效果越好。

  2.分析赛题

• 此题为传统的数据挖掘问题，通过数据科学以及机器学习深度学习的办法来进行建模得到结果。
• 此题是一个典型的回归问题。
• 主要应用xgb、lgb、catboost，以及pandas、numpy、matplotlib、seabon、sklearn、keras等等数据挖掘常用库或者框架来进行数据挖掘任务。
• 通过EDA来挖掘数据的联系和自我熟悉数据。

•  

#下载数据
# 下载数据
!wget http://tianchi-media.oss-cn-beijing.aliyuncs.com/dragonball/DM/data.zip
# 解压下载好的数据
!unzip data.zip


#数据读取pandas
import pandas as pd
import numpy as np

path = './data/'
## 1) 载入训练集和测试集；
Train_data = pd.read_csv(path+'train.csv', sep=' ')
Test_data = pd.read_csv(path+'testA.csv', sep=' ')
print('Train data shape:',Train_data.shape)
print('TestA data shape:',Test_data.shape)

Train data shape: (75414, 31)

TestA data shape: (50000, 30)

3.分类指标评价计算示例

## accuracy
import numpy as np
from sklearn.metrics import accuracy_score
y_pred = [0, 1, 0, 1]
y_true = [0, 1, 1, 1]
print('ACC:',accuracy_score(y_true, y_pred))

ACC=0.75

## Precision,Recall,F1-score
from sklearn import metrics
y_pred = [0, 1, 0, 0]
y_true = [0, 1, 0, 1]
print('Precision',metrics.precision_score(y_true, y_pred))
print('Recall',metrics.recall_score(y_true, y_pred))
print('F1-score:',metrics.f1_score(y_true, y_pred))

Precision 1.0

Recall 0.5

F1-score: 0.6666666666666666

## AUC
import numpy as np
from sklearn.metrics import roc_auc_score
y_true = np.array([0, 0, 1, 1])
y_scores = np.array([0.1, 0.4, 0.35, 0.8])
print('AUC socre:',roc_auc_score(y_true, y_scores))

AUC socre: 0.75

4.回归指标评价计算示例

# coding=utf-8
import numpy as np
from sklearn import metrics

# MAPE需要自己实现
def mape(y_true, y_pred):
    return np.mean(np.abs((y_pred - y_true) / y_true))

y_true = np.array([1.0, 5.0, 4.0, 3.0, 2.0, 5.0, -3.0])
y_pred = np.array([1.0, 4.5, 3.8, 3.2, 3.0, 4.8, -2.2])

# MSE
print('MSE:',metrics.mean_squared_error(y_true, y_pred))
# RMSE
print('RMSE:',np.sqrt(metrics.mean_squared_error(y_true, y_pred)))
# MAE
print('MAE:',metrics.mean_absolute_error(y_true, y_pred))
# MAPE
print('MAPE:',mape(y_true, y_pred))

MSE: 0.2871428571428571

RMSE: 0.5358571238146014

MAE: 0.4142857142857143

MAPE: 0.1461904761904762

## R2-score
from sklearn.metrics import r2_score
y_true = [3, -0.5, 2, 7]
y_pred = [2.5, 0.0, 2, 8]
print('R2-score:',r2_score(y_true, y_pred))

R2-score: 0.9486081370449679

三、学习问题与解答

最近做的一道自然语言处理的题目中，发现自己对于列表及字典的运用并不熟练，总是出现把列表当作字典用的问题。此篇文章让我了解到其实认真解读赛题，构造好的特征比运用好的算法更能提高模型的性能。

四、学习思考与总结

1.学会分析问题是否可行，哪些指标可以做到线上线下一致，并通过EDA来寻求他们直接的关系，构造满意的特征

2.分析出哪些数据是关键数据，可以构造更好的特征，线下验证方式更稳定。

3.由于模型的线上验证有次数限制，，所以构建验证集和验证的评价指标十分有必要。

4.找出赛题背后隐藏的关键条件。