小牛的学习笔记--波士顿房价数据回归分析

回归；标准化；加深；加宽；网格搜索优化参数

一、回归和分类

1.二分类问题输出层的激活函数是sigmode；多分类输出层的激活函数是softmax；回归问题输出层不需要激活函数
2.分类和回归本质是一样的，都是对输入做出预测，其区别在于输出的类型，分类归属到某一类；回归时预测出一个值
分类问题：输出的是离散型变量（+1，-1），是一种定性输出。（预测明天天气是阴、晴还是雨）。
回归问题：输出的是连续性变量，是一种定量输出。（预测明天的温度是多少度）。
3.分类模型和回归模型本质一样，分类模型是将回归模型的输出离散
4.比较常见的回归算法是线性回归算法（LR）。回归是对真实值的一种逼近预测。
最常见的分类方法是逻辑回归，或者逻辑分类。

二、步骤和数据初步分析

数据加载
建立回归模型
交叉验证
评估模型
本次所用到的数据集boston housing共包含506条数据，涵盖了波士顿不同郊区房屋14种特征的信息
这里有13个均为属性值（自变量）：
CRIM: 城镇人均犯罪率
ZN: 住宅用地所占比例
INDUS: 城镇中非住宅用地所占比例
CHAS: CHAS 虚拟变量,用于回归分析
NOX: 环保指数
RM: 每栋住宅的房间数
AGE: 1940 年以前建成的自住单位的比例
DIS: 距离 5 个波士顿的就业中心的加权距离。
RAD: 距离高速公路的便利指数
TAX: 每一万美元的不动产税率
PRTATIO: 城镇中的教师学生比例
B: 城镇中的黑人比例
LSTAT: 地区中有多少房东属于低收入人群
目标变量（因变量）
MEDV: 自住房屋房价中位数（均值）
最后目标：
最后的均价和实际均价去比较观察逼近程度是多少

三、均方误差

这里用MSE（均方误差）评估模型的合理性：真实的值-预测的值，平方之和求和平均

线性回归的损失函数，在线性回归的时候我们的目的就是让这个损失函数最小当值为0时，说明预测值和真实值是一样的，均方误差越小说明预测性能越好

四、关于数据集

实际上，UCI机器学习存储库中数据集不是CSV格式，而是用空格分割属性，我们可以使用pandas库加载，然后，可以拆分输入（X）和输出（Y）属性，以便更容易使用Keras和scikit-learn进行建模。
之前讲过用逗号分隔的数据集，这里的数据集用空格分开属性，CSV格式文件可先用notepad++打开数据集看看用什么分割。

五、导包，加载数据集

回归：kerasregressor

import numpy
from pandas import read_csv
from keras.models import Sequential
from keras.layers import Dense
from keras.wrappers.scikit_learn import KerasRegressor//回归模型
from sklearn.model_selection import cross_val_score
from sklearn.model_selection import KFold
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline

分割属性值和标签值
Y存储的是真实的房价的均值；delim_whitespace=True//该数据是用空格隔开的，数据框把values取出来赋给X；

# load dataset
dataframe = read_csv("housing.csv", delim_whitespace=True, header=None)
dataset = dataframe.values
# split into input (X) and output (Y) variables
X = dataset[:,0:13]
Y = dataset[:,13]

六、定义模型和编译模型

我们可以适应Keras库提供的便捷包装对象来创建Keras模型并使用scikit-learn对其进行评估
Keras包装器需要一个函数作为参数，我们必须定义的函数负责创建要评估的神经网络模型
在下面，我们定义用于创建要评估的基准模型的函数，它是一个简单的模型，具有单个完全连接的隐藏层，其中隐藏层的神经元数量与输入属性相同（13）
没有激活层用于输出层，因为这是一个回归问题，我们对直接预测数值不进行转换
我们创建了一个实例，并将创建神经网络模型的函数名和一些参数传递给fit（）函数，然后再传递给模型，例如epoch的数量和batch_size

# define base model
def baseline_model():
    # create model
	model = Sequential()
	model.add(Dense(13, input_dim=13, kernel_initializer='normal'