深度学习基础
神经网络入门
预测房价:回归问题
- 分类问题的目标是预测输入数据点所对应的单一离散的标签。回归问题预测一个连续值而不是离散的标签,例如,根据气象数据预测明天的气温,或者根据软件说明书预测完成软件项目所需要的时间。
波士顿房价数据集
-
预测20世纪70年代中期波士顿郊区房屋价格的中位数,已知当时郊区的一些数据点,比如犯罪率、当地房产税率等。
-
用到的数据集包含的数据点相对较少,只有506个,分为404个训练样本和102个测试样本。输入数据的每个特征都有不同的取值范围。
# 加载波士顿房价数据 from keras.datasets import boston_housing (train_data, train_targets), (test_data, test_targets) = boston_housing.load_data() # 我们有404个训练样本和102个测试样本,每个样本都有13个数值特征。 >>> train_data.shape (404, 13) >>> test_data.shape (102, 13) # 目标是房屋价格的中位数,单位是千美元。 >>> train_targets array([ 15.2, 42.3, 50. ... 19.4, 19.4, 29.1])
准备数据
-
将取值范围差异很大的数据输入到神经网络中,网络可能会自动适应这种取值范围不同的数据,但学习肯定变得更加困难。
-
对于这种数据,需要对每个特征做标准化,即对于输入数据的每个特征(输入数据矩阵中的列),减去特征平均值,再除以标准差,这样得到的特征平均值为0,标准差为1。
# 数据标准化 mean = train_data.mean(axis=0) train_data -= mean std = train_data.std(axis=0) train_data /= std test_data -= mean test_data /= std
-
注意,用于测试数据标准化的均值和标准差都是在训练数据上计算得到的。在工作流程中,你不能使用在测试数据上计算得到的任何结果,即使是像数据标准化这么简单的事情也不行。
构建网络
- 一般来说,训练数据越少,过拟合会越严重,而较小的网络可以降低过拟合。
- 由于样本数量很少,我们将使用一个非常小的网络,其中包含两个隐藏层,每层有64个单元。
# 模型定义 from keras import models from keras import layers # 因为需要将同一个模型多次实例化,所以用一个函数来构建模型 def build_model(): model = models.Sequential() model.add(layers.Dense(64, activation='relu', nput_shape=(train_data.shape[1],))) model.add(layers.Dense(64, activation='relu')) model.add(layers.Dense(1)) model.compile(optimizer='rmsprop', loss='mse', metrics=['mae']) return model
- 网络的最后一层只有一个单元,没有激活,是一个线性层。这是标量回归(标量回归是预测单一连续值的回归)的典型设置。添加激活函数将会限制输出范围。例如,如果向最后一层添加 sigmoid 激活函数,网络只能学会预测0~1范围内的值。这里最后一层是纯线性的,所以网络可以学会预测任意范围内的值。
- 注意,编译网络用的是 mse 损失函数,即均方误差(MSE,mean squared error),预测值与目标值之差的平方。这是回归问题常用的损失函数。
- 在训练过程中还监控一个新指标:平均绝对误差(MAE,mean absolute error)。它是预测值与目标值之差的绝对值。比如,如果这个问题的 MAE 等于0.5,就表示你预测的房价与实际价格平均相差500美元。
利用 K 折验证来验证你的方法
-
为了在调节网络参数(比如训练的轮数)的同时对网络进行评估,你可以将数据划分为训练集和验证集,但由于数据点很少,验证集会非常小(比如大约100个样本)。因此,验证分数可能会有很大波动,这取决于你所选择的验证集和训练集。也就是说,验证集的划分方式可能会造成验证分数上有很大的方差,这样就无法对模型进行可靠的评估。
-
在这种情况下,最佳做法是使用 K 折交叉验证,这种方法将可用数据划分为 K个分区( K 通常取4或5),实例化 K 个相同的模型,将每个模型在 K-1 个分区上训练,并在剩下的一个分区上进行评估。模型的验证分数等于 K 个验证分数的平均值。
-
3折交叉验证
# K 折验证 import numpy as np k = 4 num_val_samples = len(train_data) // k num_epochs = 100 all_scores = [] for i in range(k): print('processing fold #', i) val_data = train_data[i * num_val_samples: (i + 1) * num_val_samples] # 准备验证数据:第 k 个分区的数据 val_targets = train_targets[i * num_val_samples: (i + 1) * num_val_samples] # 准备训练数据:其他所有分区的数据 partial_train_data = np.concatenate([train_data[:i * num_val_samples], train_data[(i + 1) * num_val_samples:]], axis=0) partial_train_targets = np.concatenate([train_targets[:i * num_val_samples], train_targets[(i + 1) * num_val_samples:]], axis=0) # 构建 Keras 模型(已编译) model = build_model() # 训练模型(静默模式,verbose=0) model.fit(partial_train_data, partial_train_targets, epochs=num_epochs, batch_size=1, verbose=0) # 在验证数据上评估模型 val_mse, val_mae = model.evaluate(val_data, val_targets, verbose=0) all_scores.append(val_mae) # 设置 num_epochs = 100,运行结果如下: >>> all_scores [2.0956787838794217, 2.2205937970982919, 2.8599684120404838, 2.40535704039111] >>> np.mean(all_scores) 2.39539950835
- 每次运行模型得到的验证分数有很大差异,从2.0到 2.9不等。
- 平均分数(2.4)是比单一分数更可靠的指标——这就是 K 折交叉验证的关键。
- 在这个例子中,预测的房价与实际价格平均相差2400美元,考虑到实际价格范围在10000~50000美元,这一差别还是很大的。
-
我们让训练时间更长一点,达到500个轮次。为了记录模型在每轮的表现,我们需要修改训练循环,以保存每轮的验证分数记录。
# 保存每折的验证结果 num_epochs = 500 all_mae_histories = [] for i in range(k): print('processing fold #', i) # 准备验证数据:第 k 个分区的数据 val_data = train_data[i * num_val_samples: (i + 1) * num_val_samples] val_targets = train_targets[i * num_val_samples: (i + 1) * num_val_samples] # 准备训练数据:其他所有分区的数据 partial_train_data = np.concatenate([train_data[:i * num_val_samples], train_data[(i + 1) * num_val_samples:]], axis=0) partial_train_targets = np.concatenate([train_targets[:i * num_val_samples], train_targets[(i + 1) * num_val_samples:]], axis=0) # 构建 Keras 模型(已编译) model = build_model() # 训练模型(静默模式,verbose=0) history = model.fit(partial_train_data, partial_train_targets, validation_data=(val_data, val_targets), epochs=num_epochs, batch_size=1, verbose=0) mae_history = history.history['val_mean_absolute_error'] all_mae_histories.append(mae_history)
-
然后你可以计算每个轮次中所有折 MAE 的平均值。
# 计算所有轮次中的 K 折验证分数平均值 average_mae_history = [np.mean([x[i] for x in all_mae_histories]) for i in range(num_epochs)]
-
每轮的验证 MAE
# 绘制验证分数 import matplotlib.pyplot as plt plt.plot(range(1, len(average_mae_history) + 1), average_mae_history) plt.xlabel('Epochs') plt.ylabel('Validation MAE') plt.show()
-
因为纵轴的范围较大,且数据方差相对较大,所以难以看清这张图的规律。我们来重新绘制一张图。删除前10个数据点,因为它们的取值范围与曲线上的其他点不同。将每个数据点替换为前面数据点的指数移动平均值,以得到光滑的曲线。
-
每轮的验证 MAE(删除前10个数据点)
# 绘制验证分数(删除前10个数据点) def smooth_curve(points, factor=0.9): smoothed_points = [] for point in points: if smoothed_points: previous = smoothed_points[-1] smoothed_points.append(previous * factor + point * (1 - factor)) else: smoothed_points.append(point) return smoothed_points smooth_mae_history = smooth_curve(average_mae_history[10:]) plt.plot(range(1, len(smooth_mae_history) + 1), smooth_mae_history) plt.xlabel('Epochs') plt.ylabel('Validation MAE') plt.show()
-
验证 MAE 在80轮后不再显著降低,之后就开始过拟合。
-
完成模型调参之后(除了轮数,还可以调节隐藏层大小),你可以使用最佳参数在所有训练数据上训练最终的生产模型,然后观察模型在测试集上的性能。
# 训练最终模型 # 一个全新的编译好的模型 model = build_model() # 在所有训练数据上训练模型 model.fit(train_data, train_targets, epochs=80, batch_size=16, verbose=0) test_mse_score, test_mae_score = model.evaluate(test_data, test_targets)
小结
-
回归问题使用的损失函数与分类问题不同,回归常用的损失函数是均方误差(MSE)。
-
回归问题使用的评估指标也与分类问题不同,常见的回归指标是平均绝对误差(MAE)。
-
如果输入数据的特征具有不同的取值范围,应该先进行预处理,对每个特征单独进行缩放。
-
如果可用的数据很少,使用 K 折验证可以可靠地评估模型。
-
如果可用的训练数据很少,最好使用隐藏层较少(通常只有一到两个)的小型网络,以避免严重的过拟合。