一、机器学习简介
机器学习就是通过大量的数据进行训练,然后得出输入数据的模型特征;再次输入相关的数据时,能得到一个预测的结果。这在现实生活中解决了大量的问题,如:股票预测、物体分类、房价预测等等,这些都依赖机器学习带给我们的便利。
机器学习中又分为两大类:监督学习和非监督学习。
而监督学习中又分为回归问题和分类问题。
本文章中主要讲回归问题。
二、回归模型的评估指标
假设:
预测值:
真实值:
2.1 平均绝对误差 Mean Absolute Error ( MAE )
平均绝对误差 MAE,也叫平均绝对离差;在计算的时候,先对真实值与预测值求和,然后再取平均值。
公式:
范围 [0, +∞),当预测值与真实值完全吻合时等于0,即完美模型;误差越大,该值越大。
2.2 平均绝对百分误差 Mean Absolute Percentage Error ( MAPE )
平均绝对百分误差是对 MAE 改进后,通过计算真实值与预测的误差百分比避免了数据范围大小的影响。
公式:
范围[0,+∞),MAPE 为0%表示完美模型,MAPE 大于 100 %则表示劣质模型。
可以看到,MAPE跟MAE很像,就是多了个分母。
注意点:当真实值有数据等于0时,存在分母0除问题,该公式不可用!
2.3 均方误差 Mean Square Error( MSE )
均方误差就是对平均绝对误差求平方根,这个指标在计算时,先对真实值与预测值的距离平方后求和,再取平均值。
公式:
范围[0,+∞),当预测值与真实值完全吻合时等于0,即完美模型;误差越大,该值越大。
一方面,该指标避免了MAE的绝对值导致函数不能求导的问题,因此均方误差常用于线性回归的损失函数;另一方面,均方误差可以通过平方来放大预测偏差较大的值,提高了检测的灵敏度。
2.4 均方根误差 Root Mean Square Error ( RMSE )
均方根误差(Root Mean Square Error),其实就是MSE加了个根号,这样数量级上比较直观,比如RMSE=10,可以认为回归效果相比真实值平均相差10。
公式:
范围[0,+∞),当预测值与真实值完全吻合时等于0,即完美模型;误差越大,该值越大。
2.5 对称平均绝对百分比误差Symmetric Mean Absolute Percentage Error (SMAPE )
公式:
注意点:当真实值有数据等于0,而预测值也等于0时,存在分母0除问题,该公式不可用!
2.6 决定系数 R^2 Score
该指标需要了解另外三个指标:
Sum of Squares of the Regression,SSR
计算预测数据与真实数据均值之差的平方和,反映的是模型数据相对真实数据均值的离散程度。
Total Sum of Squares,SST
计算真实数据和其均值之差的平方和,反映的是真实数据相对均值的离散程度。
Sum of Squares for Error,SSE
真实数据和预测数据之差的平方和
细心的小伙伴可能注意到,SST = SSR + SSE
2.7 决定系数 R^2
决定系数 R^2,通过计算SSR 与 SST的比值,反应因变量 y 的全部变异能通过回归模型被自变量 x 解释的比例。比如,R^2 为0.9,则表示回归关系可以解释因变量 90% 的变异。
- 决定系数R2越高,越接近于1,模型的拟合效果就越好
- 决定系数R2越接近于0,回归直线拟合效果越差。
R^2 虽然可以评价回归模型效果,但会随着自变量数量的不断增加而改变。
三、python代码
# coding=utf-8
import numpy as np
from sklearn import metrics
# MAPE和SMAPE需要自己实现
def mape(y_true, y_pred):
return np.mean(np.abs((y_pred - y_true) / y_true)) * 100
def smape(y_true, y_pred):
return 2.0 * np.mean(np.abs(y_pred - y_true) / (np.abs(y_pred) + np.abs(y_true))) * 100
y_true = np.array([1.0, 5.0, 4.0, 3.0, 2.0, 5.0, -3.0])
y_pred = np.array([1.0, 4.5, 3.5, 5.0, 8.0, 4.5, 1.0])
# MSE
print(metrics.mean_squared_error(y_true, y_pred)) # 8.107142857142858
# RMSE
print(np.sqrt(metrics.mean_squared_error(y_true, y_pred))) # 2.847304489713536
# MAE
print(metrics.mean_absolute_error(y_true, y_pred)) # 1.9285714285714286
# MAPE
print(mape(y_true, y_pred)) # 76.07142857142858,即76%
# SMAPE
print(smape(y_true, y_pred)) # 57.76942355889724,即58%
后面我也会继续创作连载
创作不易,欢迎点赞收藏,支持作者创作