波士顿房价预测

最新推荐文章于 2022-06-14 09:59:14 发布
最新推荐文章于 2022-06-14 09:59:14 发布
阅读量744 收藏 5
点赞数 1
分类专栏： 数据挖掘与机器学习 Python 文章标签： 大数据 spark 机器学习 逻辑回归 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44326412/article/details/117267258
版权
本文通过Pyspark实现波士顿房价数据集的加载、探索与预处理，使用线性回归、决策树回归和梯度提升树（GBDT）模型进行预测。结果显示，GBDT在测试集上表现最佳，RMSE最低。同时，分析了特征重要性，发现房间数量对房价预测影响最大。
摘要由CSDN通过智能技术生成

实验名称

波士顿房价预测

实验目的

掌握Spark机器学习库中回归算法的使用

实验资源

  • boston.csv

实验环境

  • VMware Workstation
  • Ubuntu 16.04
  • Jupyter Notebook
  • Pyspark

实验内容

boston.csv数据集包含了各个房屋的详细信息，每一列数据的含义如下：

CRIM — 城镇的人均犯罪率。
ZN — 土地面积超过25000平方英尺的住宅用地所占比例。
INDUS — 每个城镇非零售商业面积的比例。
CHAS — 查尔斯河虚拟变量(土地河流交界= 1；否则=0)。
NOX — 氮氧化物浓度(千万分之一)。
RM — 每个住宅的平均房间数。
AGE — 1940年以前建造的自住房屋的比例。
DIS — 到波士顿五个就业中心距离的加权平均值。
RAD — 放射状公路的可达性指数。
TAX — 全价值的房产税率（每1万美元）。
PTRATIO — 城镇的学生与教师比例。
BLACK — 1000(Bk — 0.63)² ， Bk为各城镇黑人所占比例。
LSTAT — 人口中较低地位(百分比)。
MV — 业主自住房屋的中值(1000美元)。这是目标变量。

根据该数据集，预测该地区某所房子的中值。

实验步骤

1、加载数据

from pyspark import SparkConf, SparkContext
from pyspark.sql import SQLContext
sc= SparkContext()
sqlContext = SQLContext(sc)
house_df = sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load('boston.csv')
house_df.take(1)

[Row(CRIM=0.00632, ZN=18.0, INDUS=2.309999943, CHAS=0, NOX=0.537999988, RM=6.574999809, AGE=65.19999695, DIS=4.090000153, RAD=1, TAX=296, PT=15.30000019, B=396.8999939, LSTAT=4.980000019, MV=24.0)]

2、数据探索

以树状格式打印schema。

house_df.cache()
house_df.printSchema()
 |-- CRIM: double (nullable = true)
 |-- ZN: double (nullable = true)
 |-- INDUS: double (nullable = true)
 |-- CHAS: integer (nullable = true)
 |-- NOX: double (nullable = true)
 |-- RM: double (nullable = true)
 |-- AGE: double (nullable = true)
 |-- DIS: double (nullable = true)
 |-- RAD: integer (nullable = true)
 |-- TAX: integer (nullable = true)
 |-- PT: double (nullable = true)
 |-- B: double (nullable = true)
 |-- LSTAT: double (nullable = true)
 |-- MV: double (nullable = true)

进行描述性分析

house_df.describe().toPandas().transpose()

在这里插入图片描述

散点矩阵是粗略判断多个自变量之间是否存在线性相关的好方法。

import pandas as pd
numeric_features = [t[0] for t in house_df.dtypes if t[1] == 'int' or t[1] == 'double']
sampled_data = house_df.select(numeric_features).sample(False, 0.8).toPandas()
axs = pd.scatter_matrix(sampled_data, figsize=(10, 10))
n = len(sampled_data.columns)
for i in range(n):
    v = axs[i, 0]
    v.yaxis.label.set_rotation(0)
    v.yaxis.label.set_ha('right')
    v.set_yticks(())
    h = axs[n-1, i]
    h.xaxis.label.set_rotation(90)
    h.set_xticks(())

在这里插入图片描述

这样很难看清楚。那让我们找出自变量和目标变量之间的相关性。

import six
for i in house_df.columns:
    if not( isinstance(house_df.select(i).take(1)[0][0], six.string_types)):
        print( "Correlation to MV for ", i, house_df.stat.corr('MV',i))
        
Correlation to MV for  CRIM -0.3883046116575088
Correlation to MV for  ZN 0.36044534463752903
Correlation to MV for  INDUS -0.48372517128143383
Correlation to MV for  CHAS 0.17526017775291847
Correlation to MV for  NOX -0.4273207763683772
Correlation to MV for  RM 0.695359937127267
Correlation to MV for  AGE -0.37695456714288667
Correlation to MV for  DIS 0.24992873873512172
Correlation to MV for  RAD -0.3816262315669168
Correlation to MV for  TAX -0.46853593528654536
Correlation to MV for  PT -0.5077867038116085
Correlation to MV for  B 0.3334608226834164
Correlation to MV for  LSTAT -0.7376627294671615
Correlation to MV for  MV 1.0

相关系数的范围是从-1到1。当接近1时，表示存在强的正相关关系。例如，当房间数量增加时，中值就会增加。当系数接近-1时，说明存在较强的负相关关系;当人口中地位较低的百分比上升时，中值趋于下降。最后，系数接近于零意味着不存在线性相关。

为机器学习准备数据。我们只需要两栏-特征和标签(“MV”)：

from pyspark.ml.feature import VectorAssemblervectorAssembler = VectorAssembler(inputCols = ['CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE', 'DIS', 'RAD', 'TAX', 'PT', 'B', 'LSTAT'], outputCol = 'features')
vhouse_df = vectorAssembler.transform(house_df)
vhouse_df = vhouse_df.select(['features', 'MV'])
vhouse_df.show(3)

在这里插入图片描述

将数据分为训练数据和测试数据

Figure 3
splits = vhouse_df.randomSplit([0.7, 0.3])
train_df = splits[0]
test_df = splits[1]

3、线性回归

from pyspark.ml.regression import LinearRegression
lr = LinearRegression(featuresCol = 'features', labelCol='MV', maxIter=10, regParam=0.3, elasticNetParam=0.8)
lr_model = lr.fit(train_df)
print("Coefficients: " + str(lr_model.coefficients))
print("Intercept: " + str(lr_model.intercept))
Coefficients: [0.0,0.007302310571175137,-0.03286303124593804,1.4134773328268,-7.91932366863737,5.341921692409693,0.0,-0.5791187396097941,0.0,-0.0010503197747184644,-0.7748333592630333,0.01126108224671488,-0.3932170620689197]
Intercept: 11.327590788070061

总结训练集上的模型，并打印出一些指标：

trainingSummary = lr_model.summary
print("RMSE: %f" % trainingSummary.rootMeanSquaredError)
print("r2: %f" % trainingSummary.r2)
RMSE: 4.675914
r2: 0.743627

RMSE测量模型的预测值与实际值之间的差异。然而，只有当我们与实际的“MV”值(如平均值、最小值和最大值)进行比较时，RMSE才是没有意义的。经过这样的比较，我们的RMSE看起来相当不错。

train_df.describe().show()

在这里插入图片描述

R squared 为0.74表明，在我们的模型中，“MV”的可变性约有74%可以用该模型加以解释。这与scikiti - learn的结果一致。还不错。但是，我们必须注意，训练集上的性能可能与测试集上的性能不是很接近。

lr_predictions = lr_model.transform(test_df)
lr_predictions.select("prediction","MV","features").show(5)
from pyspark.ml.evaluation import RegressionEvaluator
lr_evaluator = RegressionEvaluator(predictionCol="prediction", \
                 labelCol="MV",metricName="r2")
print("R Squared (R2) on test data = %g" % lr_evaluator.evaluate(lr_predictions))

在这里插入图片描述

test_result = lr_model.evaluate(test_df)
print("Root Mean Squared Error (RMSE) on test data = %g" % test_result.rootMeanSquaredError)

测试数据集的均方根误差(RMSE) = 5.52048

毫无疑问，我们在测试集中得到了更差的RMSE和R squared。

用我们的线性回归模型做一些预测：

predictions = lr_model.transform(test_df)
predictions.select("prediction","MV","features").show()

在这里插入图片描述

4、决策树回归

from pyspark.ml.regression import DecisionTreeRegressordt = DecisionTreeRegressor(featuresCol ='features', labelCol = 'MV')
dt_model = dt.fit(train_df)
dt_predictions = dt_model.transform(test_df)
dt_evaluator = RegressionEvaluator(
    labelCol="MV", predictionCol="prediction", metricName="rmse")
rmse = dt_evaluator.evaluate(dt_predictions)
print("Root Mean Squared Error (RMSE) on test data = %g" % rmse)

测试数据上的RMSE = 4.39053

# 特征重要度
t_model.featureImportances
SparseVector(13, {0: 0.0496, 1: 0.0, 4: 0.0118, 5: 0.624, 6: 0.0005, 7: 0.1167, 8: 0.0044, 10: 0.013, 12: 0.1799})
house_df.take(1)
[Row(CRIM=0.00632, ZN=18.0, INDUS=2.309999943, CHAS=0, NOX=0.537999988, RM=6.574999809, AGE=65.19999695, DIS=4.090000153, RAD=1, TAX=296, PT=15.30000019, B=396.8999939, LSTAT=4.980000019, MV=24.0)]

显然，在我们的数据中，房间数量是预测房价中位数最重要的特征。

5、梯度回归树（GBDT）

from pyspark.ml.regression import GBTRegressor
gbt = GBTRegressor(featuresCol = 'features', labelCol = 'MV', maxIter=10)
gbt_model = gbt.fit(train_df)
gbt_predictions = gbt_model.transform(test_df)
gbt_predictions.select('prediction', 'MV', 'features').show(5)

在这里插入图片描述

gbt_evaluator = RegressionEvaluator(
    labelCol="MV", predictionCol="prediction", metricName="rmse")
rmse = gbt_evaluator.evaluate(gbt_predictions)
print("Root Mean Squared Error (RMSE) on test data = %g" % rmse)

测试数据上的RMSE = 4.19795

显然，梯度回归树在我们的数据上表现最好。

AG南山
关注
专栏目录
面向人工智能 实验三 Boston（波士顿）房价分析预测
pranaa的博客
09-20 284
使用sklearn 自带的波士顿房价数据集，对样本数据进行分析。波士顿房价数据集(boston)包含506组数据，每条数据包含房屋以及房屋周围的详细信息。其中包含城镇犯罪率、一氧化氮浓度、住宅平均房间数、到中心区域的加权距离以及自住房平均房价等。该实验要依据房屋的属性信息，对房屋的价格进行预测。
房价预测线性回归
angle_anglela的博客
11-24 413
import numpy as np import matplotlib.pyplot as plt import pandas as pd import seaborn as sns from sklearn.datasets import load_boston from sklearn.model_selection import train_test_split from sklearn....
波士顿房价预测数据集
12-06
对波士顿房价数据进行了预处理，满足收看网易云课堂以房价预测案例为例介绍神经网络中的BP算法的代码复现需求
机器学习实战-波士顿房价预测
08-11
在本项目"机器学习实战-波士顿房价预测"中，我们将探讨如何运用机器学习算法来预测波士顿地区的房价。这个经典的机器学习任务源于UCI Machine Learning Repository，是初学者和专业人士研究监督学习算法的理想数据集...
波士顿房价预测数据集，可以用来学习
08-19
波士顿房价预测数据集，csv格式，可以用来训练自己的模型。
深度学习-基于Keras的Python项目开发实战_波士顿房价预测_编程案例实例教程.pdf
04-29
《深度学习-基于Keras的Python项目开发实战_波士顿房价预测》是关于使用深度学习技术解决回归问题的一个实际案例，主要涉及了利用Keras库在Python中构建神经网络模型来预测波士顿地区的房价。回归问题在于预测连续...
机器学习作业-波士顿房价预测作业+源代码+文档说明
最新发布
12-23
1、资源内容：机器学习作业-波士顿房价预测作业+源代码+文档说明 2、代码特点：内含运行结果，不会运行可私信，参数化编程、参数可方便更改、代码编程思路清晰、注释明细，都经过测试运行成功，功能ok的情况下才上传...
线性回归实现波士顿房价预测
07-15
在波士顿房价预测中，我们可以使用批量梯度下降、随机梯度下降或小批量梯度下降来逼近正规方程的解。梯度下降的优势在于其灵活性和可扩展性，但在收敛速度上可能比正规方程慢，并可能陷入局部最小值。 第三，岭回归...
预测波士顿房价
01-08
在这个项目中，你将利用马萨诸塞州波士顿郊区的房屋信息数据训练和测试一个模型，并对模型的性能和预测能力进行测试。通过该数据训练后的好的模型可以被用来对房屋做特定预测—尤其是对房屋的价值。对于房地产经纪等人的日常工作来说，这样的预测模型被证明非常有价值。
波斯顿房价预测数据集
03-24
包含13个特征：CRIM, ZN ,INDUS ,CHAS,NOX,RM,AGE,DIS,RAD,TAX,PTRATIO,LSTAT,MEDV，csv格式
深度学习之构建波士顿房价预测任务的神经网络模型（百度PaddlePaddle）
fjndfazp的博客
08-17 2595
参考：https://aistudio.baidu.com/aistudio/projectdetail/716577 文章目录构建波士顿房价预测任务的神经网络模型一、数据处理1.1 读入数据1.2 数据形状变换1.3 数据集划分1.4 数据归一化处理1.5 封装成load data函数二、模型设计三、训练配置四、训练过程4.1、梯度下降法4.2、 计算梯度4.3、使用Numpy进行梯度计算4.4、代码封装Train函数4.5、随机梯度下降法（ Stochastic Gradient Descent）*.
预测波士顿房价（线性回归/ LinearRegression）
因上努力，果上随缘的博客
07-24 709
目录获取房价数据将数据拆分 一份训练，一份测试声明模型 进行训练，预测准确率 头文件 import numpy as np import matplotlib.pyplot as plt from sklearn.linear_model import LinearRegression from sklearn import datasets 注： 线性回归 LinearRegression 即LR from sklearn import datasets sklearn自带的数据集datasets
波士顿房价预测（TensorFlow2.9实践）
baidu的专栏
06-14 6628
波士顿房价数据集包括506个样本，每个样本包括12个特征变量和该地区的平均房价。房价（单价）显然和多个特征变量相关，不是单变量线性回归（一元线性回归）问题，选择多个特征变量来建立线性方程，这就是多变量线性回归（多元线性回归）问题。本文探讨了使用TensorFlow2.9+多元线性回归，解决波士顿房价预测问题。...
pyspark预测波士顿房价
06-06
好的，我可以为您提供一个基于Pyspark的波士顿房价预测模型的代码示例。首先，我们需要加载波士顿房价数据集： ```python from pyspark.ml.regression import LinearRegression # 加载波士顿房价数据集 dataset = spark.read.format("libsvm")\ .load("data/mllib/sample_linear_regression_data.txt")\ .selectExpr("features", "label") ``` 接下来，我们将数据集拆分为训练集和测试集： ```python # 拆分数据集为训练集和测试集 train, test = dataset.randomSplit([0.7, 0.3], seed=12345) ``` 然后，我们将使用线性回归算法来训练模型： ```python # 定义线性回归模型并训练 lr = LinearRegression(maxIter=10, regParam=0.3, elasticNetParam=0.8) model = lr.fit(train) ``` 最后，我们可以使用测试集来评估模型的性能： ```python # 使用测试集评估模型性能 predictions = model.transform(test) predictions.show() ``` 这样，我们就可以得到一个基于Pyspark的波士顿房价预测模型。当然，具体的实现还需要根据您的数据集和需求进行调整和优化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值