python深度学习--波士顿房价回归预测

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import pylab
from pandas import DataFrame, Series
from keras import models, layers, optimizers, losses, metrics
from keras.utils.np_utils import to_categorical

#回归问题：它预测一个连续值而不是离散的标签

#加载波士顿房价数据
from keras.datasets import boston_housing

#每个样本都有 13 个数值特征，比如 人均犯罪率、每个住宅的平均房间数、高速公路可达性等
(train_data, train_targets), (test_data, test_targets) = boston_housing.load_data()
print(train_data.shape)
print(test_data.shape)
#目标是房屋价格的中位数，单位是千美元
print(train_targets.shape)

#准备数据
#将取值范围差异很大的数据输入到神经网络中，这是有问题的。网络可能会自动适应这种 取值范围不同的数据，但学习肯定变得更加困难。对于这种数据，普遍采用的最佳实践是对每 个特征做标准化，即对于输入数据的每个特征（输入数据矩阵中的列），减去特征平均值，再除 以标准差，这样得到的特征平均值为 0，标准差为 1。
mean=train_data.mean(axis=0)
train_data-=mean
std=train_data.std(axis=0)
train_data/=std

test_data -= mean
test_data /= std
#用于测试数据标准化的均值和标准差都是在训练数据上计算得到的。在工作流程中，你不能使用在测试数据上计算得到的任何结果，即使是像数据标准化这么简单的事情也不行

#构建网络
#由于样本数量很少，我们将使用一个非常小的网络，其中包含两个隐藏层，每层有64个单元。一般来说，训练数据越少，过拟合会越严重，而较小的网络可以降低过拟合

#因为需要将同一个模型多次实例化，所以需要用一个函数来构建模型
def build_model():
    model=models.Sequential()
    model.add(layers.Dense(64,activation='relu',
                           input_shape=(train_data.shape[1],)))
    model.add(layers.Dense(64,activation='relu'))
    model.add(layers.Dense(1))
    model.compile(optimizer='rmsprop',loss='mse',metrics=['mae'])
    return model
#网络的最后一层只有一个单元，没有激活，是一个线性层。这是标量回归（标量回归是预 测单一连续值的回归）的典型设置。添加激活函数将会限制输出范围。例如，如果向最后一层 添加 sigmoid 激活函数，网络只能学会预测 0~1 范围内的值。这里最后一层是纯线性的，所以 网络可以学会预测任意范围内的值
#均方误差（MSE，mean squared error），预测值与 目标值之差的平方。这是回归问题常用的损失函数。
#还监控一个新指标：平均绝对误差（MAE，mean absolute error）。它是预测值 与目标值之差的绝对值

#利用k折验证来验证模型
'''
为了在调节网络参数（比如训练的轮数）的同时对网络进行评估，你可以将数据划分为训
练集和验证集，正如前面例子中所做的那样。但由于数据点很少，验证集会非常小（比如大约 100 个样本）。因此，验证分数可能会有很大波动，这取决于你所选择的验证集和训练集。也就 是说，验证集的划分方式可能会造成验证分数上有很大的方差，这样就无法对模型进行可靠的 评估
最佳做法是使用K折交叉验证:
    将可用数据划分为K个分区（K通常取 4 或 5），实例化K个相同的模型，将每个模型在K-1 个分区上训练，并在剩下的一个分区上进行评估。模型的验证分数等于K个验证分数的平均值
'''
def smooth_curve(points, factor=0.9):#将每个数据点替换为前面数据点的指数移动平均值，以得到光滑的曲线
    smoothed_points = []
    for point in points:
        if smoothed_points:
            previous = smoothed_points[-1]
            smoothed_points.append(previous * factor + point * (1 - factor))
        else:
            smoothed_points.append(point)
    return smoothed_points

def mae_plot(epoch,mae):
    fig=plt.figure()
    ax1=fig.add_subplot(2,1,1)
    x=[i for i in range(1,epoch+1)]
    ax1.plot(x,mae)
    ax1.set_xlabel('Epochs')
    ax1.set_ylabel('Validation MAE')
    ax2=fig.add_subplot(2,1,2)
    smooth_mae_history = smooth_curve(mae[10:])#删除前 10 个数据点，因为它们的取值范围与曲线上的其他点不同
    ax2.plot(range(1, len(smooth_mae_history) + 1), smooth_mae_history)
    plt.tight_layout()
    plt.show()


# k=4
# num_val_samples=len(train_data)//k
# num_epochs=500
# all_scores=[]
# for i in range(0,k):
#     print('processing fold #',i)
#     # 验证数据：第k个验证分区的数据
#     val_data=train_data[i*num_val_samples:(i+1)*num_val_samples]
#     val_targets=train_targets[i*num_val_samples:(i+1)*num_val_samples]
#
#     #训练数据：其他分区的所有数据
#     partial_train_data=np.concatenate(
#         [train_data[:i*num_val_samples],train_data[(i+1)*num_val_samples:]],axis=0
#     )
#     partial_train_targets=np.concatenate(
#         [train_targets[:i*num_val_samples],train_targets[(i+1)*num_val_samples:]],axis=0
#     )
#
#     model=build_model()
#     # history=model.fit(partial_train_data,partial_train_targets,
#     #           epochs=num_epochs,batch_size=1,verbose=1)
#     # val_mse,val_mae=model.evaluate(val_data,val_targets,verbose=1)
#     # all_scores.append(val_mae)
#     history = model.fit(partial_train_data, partial_train_targets,
#                         epochs=num_epochs, batch_size=1, verbose=0, validation_data=(val_data, val_targets))
#     # print(history.history.keys())
#     mae_history=history.history['val_mean_absolute_error']
#     all_scores.append(mae_history)
# # mae=[[j for j in i] for i in all_scores]
# print(all_scores)
# mae=[np.mean([x[i] for x in all_scores]) for i in range(num_epochs)]#平均分数是比单一 分数更可靠的指标——这就是K折交叉验证的关键
# mae_plot(num_epochs,mae)#可以看出，验证MAE大概在80（78）轮后不再显著降低，之后就开始过拟合

#完成模型调参之后（除了轮数，还可以调节隐藏层大小），使用最佳参数在所有训练 数据上训练最终的生产模型，然后观察模型在测试集上的性能
model=build_model()
model.fit(train_data,train_targets,epochs=80,batch_size=16,verbose=0)
test_mse_score,test_mae_score=model.evaluate(test_data,test_targets)
print(test_mae_score)

'''
回归问题使用的损失函数与分类问题不同。回归常用的损失函数是均方误差（MSE）。
? 同样，回归问题使用的评估指标也与分类问题不同。显而易见，精度的概念不适用于回 归问题。常见的回归指标是平均绝对误差（MAE）。
? 如果输入数据的特征具有不同的取值范围，应该先进行预处理，对每个特征单独进行缩放。
? 如果可用的数据很少，使用K折验证可以可靠地评估模型。
 ? 如果可用的训练数据很少，最好使用隐藏层较少（通常只有一到两个）的小型网络，以 避免严重的过拟合。
'''