空间分析之机器学习预测性能评价

机器学习作为新兴领域，已经逐渐渗透进我们的生活之中。不论是在传统地学、定量遥感、还是遥感图像分类和目标识别中，机器学习都有着极为广泛的应用。然而机器学习方法的多样化也令人很难评判方法的优劣，针对不同的应用场景，不用方法也表现出差异。因此，本文将对随机森林、支持向量机、K最邻近回归和广义线性回归为例，以相同的测试数据来评价上述四种机器学习方法的优劣，并使用R2（决定系数）、RMSE（均方根误差）、MAE（平均绝对误差）和bias（偏差）来做性能评价。

    预测及评价过程均基于Python3和机器学习扩展模块sklearn实现，具体实现如下：

• 导入相关扩展包

import pandas as pd

import numpy as np

from sklearn.model_selection import train_test_split

from sklearn.preprocessing import StandardScaler

from sklearn.ensemble import RandomForestRegressor

from sklearn.neighbors import KNeighborsRegressor

from sklearn.linear_model import LinearRegression

from sklearn import svm

from sklearn import metrics

• 数据导入

df = pd.DataFrame(pd.read_csv("testpoint.csv"))

x = df.iloc[:, 0:-1].values

y = df.iloc[:, 3].values

其中测试数据格式如下：

• 训练数据选择

由于测试数据量较大，这里为了节省训练时间，选择其中10%作为训练集。

x_train, x_test, y_train, y_test = train_test_split(X,y,test_size=0.1,random_state=None)

• 训练并预测结果

# 归一化测试数据

sc = StandardScaler()

x_train = sc.fit_transform(X_train)

x_test = sc.transform(X_test)

# 导入模型并设置参数

rf = RandomForestRegressor(n_estimators=100, random_state=None, max_features='auto', max_depth=5,min_samples_split=15, min_samples_leaf=8, bootstrap=True, oob_score=True)

sr = svm.SVR(kernel='rbf', C=1000, gamma=0.1)

kn = KNeighborsRegressor(n_neighbors=10, weights='distance',algorithm='ball_tree')

lr = LinearRegression()

np.set_printoptions(threshold=np.inf)

# 模型训练

rf.fit(X_train, y_train)

sr.fit(X_train, y_train)

kn.fit(X_train, y_train)

lr.fit(X_train, y_train)

# 结果预测

y_pred_rf = rf.predict(X_test)

y_pred_sr = sr.predict(X_test)

y_pred_kn = kn.predict(X_test)

y_pred_lr = lr.predict(X_test)

• 计算预测性能

在得到预测结果之后，我们利用预测值和真实值来计算各模型的预测性能，具体实现如下：

R2 = [metrics.r2_score(y_test, y_pred_rf), metrics.r2_score(y_test, y_pred_sr),

        metrics.r2_score(y_test, y_pred_kn), metrics.r2_score(y_test, y_pred_lr)]

RMSE = [np.sqrt(metrics.mean_squared_error(y_test, y_pred_rf)),

        np.sqrt(metrics.mean_squared_error(y_test, y_pred_sr)),

        np.sqrt(metrics.mean_squared_error(y_test, y_pred_kn)),

        np.sqrt(metrics.mean_squared_error(y_test, y_pred_lr))]

MAE = [metrics.mean_absolute_error(y_test, y_pred_rf),

      metrics.mean_absolute_error(y_test,

      y_pred_sr),metrics.mean_absolute_error(y_test, y_pred_kn),

      metrics.mean_absolute_error(y_test, y_pred_lr)]

BIAS = [np.mean(y_pred_rf - y_test), np.mean(y_pred_sr - y_test),

      np.mean(y_pred_kn - y_test),np.mean(y_pred_lr - y_test)]

在得到每个测试数据的评价结果后，计算其平均值和标准差，得到最终的评价结果，具体操作如下：

# 计算平均值

r2_mean = np.mean(r2, axis=0)

rmse_mean = np.mean(rmse, axis=0)

mae_mean = np.mean(mae, axis=0)

bias_mean = np.mean(bias, axis=0)

# 计算标准差

r2_std = np.std(r2, axis=0)

rmse_std = np.std(rmse, axis=0)

mae_std = np.std(mae, axis=0)

bias_std = np.std(bias, axis=0)

• 评价结果

在评价结果计算后，数据结果：

    如何选择机器学习算法、选择哪一个算法以及算法建模时该注意哪些问题，是学术及工程中的一大难题。总之，选择哪一个算法必须要适用于你自己的问题，这就要求选择正确的机器学习任务。但很多情况下好的数据却要优于好的算法，优良特征的正确选择对算法来说更有意义，但只有了解每个机器算法的原理及优缺点，才能根据不同的机器学习算法做相应的特征选择。