Task1

评价指标

1. 分类问题常用指标：
   两类：accuracy， Precision，Recall，F-score，Pr曲线，ROC-AUC曲线。
   多类：accuracy， 宏平均和微平均，F-score

		Actual	Class
		1	0
Predict	1	True positive	False positive
Class	0	False negetive	True negetive

• accuracy: $\frac{Tp+Tn}{total}$
• precision: $\frac{Tp}{Predictedpositive}=\frac{Tp}{Tp+Fp}$
• recall: $\frac{Tp}{Actualpositive}=\frac{Tp}{Tp+Fn}$
• F₁ Score: $2\frac{PR}{P+R}$

2. 回归预测常用指标：平均绝对误差（Mean Absolute Error，MAE），均方误差（Mean Squared Error，MSE），平均绝对百分误差（Mean Absolute Percentage Error，MAPE），均方根误差（Root Mean Squared Error）， R2（R-Square）
   $$MAE=\frac{1}{N}\sum _{i=1}^N\left|y_i-{\hat{y}}_i\right|$$
   $$MSE=\frac{1}{N}\sum _{i=1}^N{\left(y_i-{\hat{y}}_i\right)}^2$$
   $$MAPE=\frac{1}{N}\sum _{i=1}^N\frac{|y_i-{\hat{y}}_i|}{y_i}$$
   $$R^2=1-\frac{S{S}_{res}}{S{S}_{tot}}=1-\frac{\sum {\left(y_i-{\hat{y}}_i\right)}^2}{\sum {\left(y_i-\overline{y}\right)}^2}$$

代码

导入数据

读取数据

import pandas as pd

data = pd.read_csv('path', sep=' ')

查看数据基本结构

print('Train data shape:',Train_data.shape)
print('TestA data shape:',Test_data.shape)
Train_data.head()
Train.data.describe()

评价指标示例

1. 分类指标：accuracy, precision, recall, F1-score， AUC

from sklearn import metrics

print('ACC:', metrics.accuracy_score(y_true, y_pred))
print('Precision', metrics.precision_score(y_true, y_pred))
print('Recall', metrics.recall_score(y_true, y_pred))
print('F1-score:', metrics.f1_score(y_true, y_pred))
print('AUC socre:', metrics.roc_auc_score(y_true, y_scores))

2. 回归指标：MSE, RMSE, MAE, MAPE, R2 score

import numpy as np
from sklearn import metrics

# MAPE需要自己实现
def mape(y_true, y_pred):
    return np.mean(np.abs((y_pred - y_true) / y_true))

# MSE
print('MSE:',metrics.mean_squared_error(y_true, y_pred))
# RMSE
print('RMSE:',np.sqrt(metrics.mean_squared_error(y_true, y_pred)))
# MAE
print('MAE:',metrics.mean_absolute_error(y_true, y_pred))
# MAPE
print('MAPE:',mape(y_true, y_pred))
print('R2-score:',metrics.r2_score(y_true, y_pred))

参考 https://github.com/datawhalechina/team-learning
Datawhale Task1 赛题理解