用 Python 神经网络预测汽车保险支出

为新数据集开发神经网络预测模型可能具有挑战性。

一种方法是首先检查数据集并为可能使用的模型开发思路，然后探索数据集上简单模型的学习动态，然后最后使用健壮的测试工具为数据集开发和调整模型。此过程可用于为分类和回归预测建模问题开发有效的神经网络模型。

在本教程中，您将发现如何为瑞典汽车保险回归数据集开发多层Perceptron神经网络模型。完成本教程后，您将知道：

• 如何加载和汇总瑞典汽车保险数据集，以及如何使用结果建议要使用的数据准备和模型配置。

• 如何探索简单的MLP模型的学习动态以及数据集上的数据转换。

• 如何开发出对模型性能的可靠估计，调整模型性能以及对新数据进行预测。

教程概述

本教程分为四个部分。他们是：

• 汽车保险回归数据集

• 首个MLP和学习动力

• 评估和调整MLP模型

• 最终模型和做出预测

汽车保险回归数据集

第一步是定义和探索数据集。我们将使用“汽车保险”标准回归数据集。该数据集描述了瑞典的汽车保险。只有一个输入变量，即索赔的数量，目标变量是以数千瑞典克朗为单位的索赔总额。目的是在给定索赔数量的情况下预测总付款额。

您可以在此处了解有关数据集的更多信息：

• 汽车保险数据集（auto-insurance.csv）

• 汽车保险数据集详细信息（auto-insurance.names）

您可以在下面看到数据集的前几行。

108,392.5
19,46.2
13,15.7
124,422.2
40,119.4

我们可以看到这些值是数字的，范围从几十到几百。这表明在使用神经网络进行建模时，某种类型的缩放比例适合于数据。

我们可以直接从URL将数据集作为pandas DataFrame加载；例如：

# load the dataset and summarize the shape
from pandas import read_csv
# define the location of the dataset
url = 'https://raw.githubusercontent.com/jbrownlee/Datasets/master/auto-insurance.csv'
# load the dataset
df = read_csv(url, header=None)
# summarize shape
print(df.shape)

运行示例将直接从URL加载数据集并报告数据集的形状。

在这种情况下，我们可以确认该数据集具有两个变量（一个输入和一个输出），并且该数据集具有63行数据。

对于神经网络来说，这不是很多数据行，这表明一个小型的网络（可能带有正则化）将是合适的。

这也表明使用k倍交叉验证是一个好主意，因为与火车/测试拆分相比，它可以提供更可靠的模型性能估算值，并且因为单个模型可以在数秒而不是数小时或数天的时间内完成拟合。最大的数据集。

(63, 2)

接下来，我们可以通过查看摘要统计信息和数据图来了解有关数据集的更多信息。

# show summary statistics and plots of the dataset
from pandas import read_csv
from matplotlib import pyplot
# define the location of the dataset
url = 'https://raw.githubusercontent.com/jbrownlee/Datasets/master/auto-insurance.csv'
# load the dataset
df = read_csv(url, header=None)
# show summary statistics
print(df.describe())
# plot histograms
df.hist()
pyplot.show()

运行示例之前，先加载数据，然后输出每个变量的摘要统计信息

我们可以看到每个变量的平均值在十个以内，范围从0到数百。这证实了缩放数据可能是一个好主意。

                0           1
count   63.000000   63.000000
mean    22.904762   98.187302
std     23.351946   87.327553
min      0.000000    0.000000
25%      7.500000   38.850000
50%     14.000000   73.400000
75%     29.000000  140.000000
max    124.000000  422.200000

然后为每个变量创建一个直方图。

我们可以看到每个变量都有相似的分布。它看起来像偏态的高斯分布或指数分布。

我们可以在每个变量上使用幂变换来降低概率分布的偏斜度，这可能会提高模型性能。

现在我们已经熟悉了数据集，让我们探讨如何开发神经网络模型。

首个MLP和学习动力

我们将使用TensorFlow为数据集开发一个多层感知器（MLP）模型。我们不知道学习超参数的哪种模型架构对这个数据集将是好的还是最好的，所以我们必须进行实验并发现什么是行之有效的。假设数据集很小，则小批量可能是个好主意，例如8或16行。入门时，使用Adam版本的随机梯度下降法是一个好主意，因为它会自动适应学习率，并且在大多数数据集上都能很好地工作。在认真评估模型之前，最好回顾一下学习动态并调整模型体系结构和学习配置，直到我们拥有稳定的学习动态，然后再充分利用模型。

我们可以通过简单的训练/测试数据拆分并查看学习曲线图来实现。这将帮助我们了解我们是学习过度还是学习不足；然后我们可以相应地调整配置。首先，我们可以将数据集分为输入和输出变量，然后分为67/33训练和测试集。

# split into input and output columns
X, y = df.values[:, :-1], df.values[:, -1]
# split into train and test datasets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33)

接下来，我们可以定义一个最小的MLP模型。在这种情况下，我们将使用一个包含10个节点的隐藏层和一个输出层（任意选择）。我们将在隐藏层中使用ReLU激活功能和“ he_normal”权重初始化，因为它们是一种很好的做法。

模型的输出是线性激活（不激活），我们将最小化均方误差（MSE）损失。

# determine the number of input features
n_features = X.shape[1]
# define model
model = Sequential()
model.add(Dense(10, activation='relu', kernel_initializer='he_normal', input_shape=(n_features,)))
model.add(Dense(1))
# compile the model
model.compile(optimizer='adam', loss='mse')

我们将模型拟合为100个训练时期（任意选择），批量为8个，因为它是一个很小的数据集。我们正在原始数据上拟合模型，我们认为这可能不是一个好主意，但这是一个重要的起点。

# fit the model
history = model.fit(X_train, y_train, epochs=100, batch_size=8, verbose=0, validation_data=(X_test,y_test))

在训练结束时，我们将评估模型在测试数据集上的性能，并将性能报告为平均绝对误差（MAE），我通常更喜欢MSE或RMSE。

# predict test set
yhat = model.predict(X_test)
# evaluate predictions
score = mean_absolute_error(y_test, yhat)
print('MAE: %.3f' % score)

最后，我们将在训练期间在训练和测试集上绘制MSE损失的学习曲线。

# plot learning curves
pyplot.title('Learning Curves')
pyplot.xlabel('Epoch')
pyplot.ylabel('Mean Squared Error')
pyplot.plot(history.history['loss'], label='train')
pyplot.plot(history.history['val_loss'], label='val')
pyplot.legend()
pyplot.show()

综上所述，下面列出了评估我们在汽车保险数据集上的第一个MLP的完整示例。

# fit a simple mlp model and review learning curves
from pandas import read_csv
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_absolute_error
from tensorflow.keras import Sequential
from tensorflow.keras.layers import Dense
from matplotlib import pyplot
# load the dataset
path = 'https://raw.githubusercontent.com/jbrownlee/Datasets/master/auto-insurance.csv'
df = read_csv(path, header=None)
# split into input and output columns
X, y = df.values[:, :-1], df.va