完整的机器学习_加州房价预测

最新推荐文章于 2024-10-11 13:03:22 发布
最新推荐文章于 2024-10-11 13:03:22 发布
阅读量5.1k 收藏 79
点赞数 2
分类专栏： 机器学习 文章标签： 机器学习 数据分析 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43655841/article/details/105522981
版权
本文详述了使用机器学习预测加州房价的过程，包括数据探索、预处理、模型选择（如线性回归、决策树、随机森林）和评估。通过RMSE作为评估指标，随机森林表现出较好的预测性能。
摘要由CSDN通过智能技术生成

机器学习的主要步骤

  1. 将问题框架化并且关注重点。
  2. 获取并探索数据以洞悉数据。
  3. 准备数据以更好地将基础数据模式暴露给机器学习算法。
  4. 探索多种不同的模型并列出最好的那些。
  5. 微调模型并将它们组合成一个很好的解决方案。
  6. 展示你的解决方案。
  7. 启动，监督并维护你的系统。

将问题框架化并关注重点

数据集是基于 1990 年加州普查的数据,数据包含每个街区组的人口、收入中位数、房价中位数等指标。
街区组是美国调查局发布样本数据的最小地理单位（一个街区通常有 600 到 3000 人）。我们将其简称为“街区”。
你的模型要利用这个数据进行学习，然后根据其它指标，预测任何街区的的房价中位数。

评估指标 RMSE

R M S E = 1 m ∑ i = 1 m ( y ( i ) − y ^ ( i ) ) 2 RMSE = \sqrt{\frac{1}{m}\sum_{i=1}^{m}(y ^ {(i)} - \hat{y} ^ {(i)}) ^ {2}} RMSE=m1​∑i=1m​(y(i)−y^​(i))2 ​

数据探索

导入数据及第三方库

%matplotlib inline
# 导入第三方库
import pandas as pd
import numpy as np
import matplotlib as mpl
import matplotlib.pyplot as plt
import seaborn as sns

# 解决中文显示问题
mpl.rcParams['font.sans-serif'] = 'SimHei'
mpl.rcParams['axes.unicode_minus'] = False

# 数据导入
housing_data = pd.read_csv('housing.csv')
housing_data.head(3)
longitude latitude housing_median_age total_rooms total_bedrooms population households median_income median_house_value ocean_proximity
0 -122.23 37.88 41.0 880.0 129.0 322.0 126.0 8.3252 452600.0 NEAR BAY
1 -122.22 37.86 21.0 7099.0 1106.0 2401.0 1138.0 8.3014 358500.0 NEAR BAY
2 -122.24 37.85 52.0 1467.0 190.0 496.0 177.0 7.2574 352100.0 NEAR BAY

数据探索

数据整体观察

# 查看数据描述
housing_data.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 20640 entries, 0 to 20639
Data columns (total 10 columns):
longitude             20640 non-null float64
latitude              20640 non-null float64
housing_median_age    20640 non-null float64
total_rooms           20640 non-null float64
total_bedrooms        20433 non-null float64
population            20640 non-null float64
households            20640 non-null float64
median_income         20640 non-null float64
median_house_value    20640 non-null float64
ocean_proximity       20640 non-null object
dtypes: float64(9), object(1)
memory usage: 1.6+ MB

# 查看数据属性
housing_data.describe()
longitude latitude housing_median_age total_rooms total_bedrooms population households median_income median_house_value
count 20640.000000 20640.000000 20640.000000 20640.000000 20433.000000 20640.000000 20640.000000 20640.000000 20640.000000
mean -119.569704 35.631861 28.639486 2635.763081 537.870553 1425.476744 499.539680 3.870671 206855.816909
std 2.003532 2.135952 12.585558 2181.615252 421.385070 1132.462122 382.329753 1.899822 115395.615874
min -124.350000 32.540000 1.000000 2.000000 1.000000 3.000000 1.000000 0.499900 14999.000000
25% -121.800000 33.930000 18.000000 1447.750000 296.000000 787.000000 280.000000 2.563400 119600.000000
50% -118.490000 34.260000 29.000000 2127.000000 435.000000 1166.000000 409.000000 3.534800 179700.000000
75% -118.010000 37.710000 37.000000 3148.000000 647.000000 1725.000000 605.000000 4.743250 264725.000000
max -114.310000 41.950000 52.000000 39320.000000 6445.000000 35682.000000 6082.000000 15.000100 500001.000000 
# 绘制各属性的关系图
sns.pairplot(housing_data,kind='scatter', diag_kind='kde' )

<seaborn.axisgrid.PairGrid at 0x1af0af9e608>

在这里插入图片描述

创建测试集

不合适的数据切割方式，会导致模型在训练时，朝着所划分的测试集模型进行训练。

1. 随机分割：train_test_split
对数据进行随机分割，适用于数据集很大的情况

2.分层采样： StratifiedShuffleSplit
为了保证测试集不变，即使新增数据也会包含新数据同样的比例作为测试集（更公平有效），可以算出数据唯一索引的哈希值<=51作为测试集（约占20%）

假设某个属性对预测列影响较大(假设收入中位数’median_income’)，分别用两种切割方式对数据进行切割，对比下切分后数据集的占比。

# 原始数据
housing_data['median_income'].plot.hist()

<matplotlib.axes._subplots.AxesSubplot at 0x1af0e828108>

在这里插入图片描述

# 首先创建一个类别属性
housing_data['income_cat'] = np.ceil(housing_data['median_income']/1.5)
housing_data['income_cat'].value_counts(ascending=True).plot.bar()

# 将5以上的数据先归为一类
housing_data['income_cat'] = housing_data['income_cat'].where(housing_data['income_cat']<5 ,5 )

在这里插入图片描述

# 查看原始数据概率分布
housing_data['income_cat'].value_counts(normalize=True)

3.0    0.350581
2.0    0.318847
4.0    0.176308
5.0    0.114438
1.0    0.039826
Name: income_cat, dtype: float64

# 查看随机拆分数据后的概率分布
from sklearn.model_selection import train_test_split
train, test = train_test_split(housing_data, test_size = 0.2 , random_state=2020)
for data in (train, test):
    print('概率分布分别为',data['income_cat'].value_counts(normalize=True))

概率分布分别为 3.0    0.351320
2.0    0.317042
4.0    0.178295
5.0    0.113372
1.0    0.039971
Name: income_cat, dtype: float64
概率分布分别为 3.0    0.347626
2.0    0.326066
4.0    0.168362
5.0    0.118702
1.0    0.039244
Name: income_cat, dtype: float64

# 查看分层抽样概率分布，训练集和测试集几乎相同
from sklearn.model_selection import StratifiedShuffleSplit
split = StratifiedShuffleSplit(n_splits=1, test_size=0.2, random_state=2020)
for train_index, test_index in split.split(housing_data, housing_data['income_cat']):
    train = housing_data.loc[train_index]
    test = housing_data.loc[test_index]

for data in (train, te
最低0.47元/天 解锁文章
芒果冰麦
关注
专栏目录
Python从0到100（五十一）：机器学习-线性回归及加州房价预测
Hello大家好，我是Dream，如果帮得到你，那我深感荣幸！交流学习、商务合作：https://bbs.csdn.net/topics/614347534
08-18 6万+
线性回归是⼀种⽤于建⽴输⼊。它是机器学习和统计学中最简单、最常⻅的回归⽅法之⼀。线性回归假设特征与⽬标之间存在线性关系，并试图找到⼀条最佳拟合的直线（或超平⾯）来描述数据之间的关系。在机器学习领域中的大多数任务通常都与预测（prediction）有关。当我们想预测一个数值时，就会涉及到回归问题。常见的例子包括：预测价格（房屋、股票等）、预测住院时间（针对住院病人等）、 预测需求（零售销量等）, 但不是所有的预测都是回归问题。
加州房价预测模型
小哲数据
12-08 2940
import numpy as np import pandas as pd import matplotlib.pyplot as plt %matplotlib %matplotlib inline %config InlineBackend.figure_format = 'retina' Using matplotlib backend: MacOSX 读取数据集并观察数据特点 字段...
机器学习入门实例-加州房价预测-1（数据准备与可视化）
陆沙的博客
04-12 1701
可以看到，total_bedrooms里有数据缺失，而ocean_proximity的类型是object。housing.describe()可以计算各个数值列的count，mean，std，min，25%、50%和75%（中位数）、max。但是要设置seed，因为如果不设置的话，每次运行得到的训练集不一样，时间长了整个训练集都是已知了，那测试集就失去意义了。但是，随机挑选的数据可以不够有代表性。换一种包含信息更多的方式：令散点的直径大小表示人口，颜色表示房价中位值。可以去github，也可以自动下载。
房价预测数据分析与机器学习实战
最新发布
weixin_35749440的博客
10-11 759
本文还有配套的精品资源，点击获取 简介：本项目涉及到一个机器学习回归任务，旨在根据房屋的各种特征预测其价格。数据集包含506条记录和14个字段，其中13个字段是可能影响房价的因素，第14个字段是目标变量——房价。这种数据结构为典型的CSV文件，适合用于数据分析和机器学习。将通过数据预处理、特征选择、模型构建、交叉验证和性能评估等步骤，构建并评估预测模型。这个数据集适合初学者...
机器学习之加州房价预测（一）
weixin_44953795的博客
12-13 3590
#加州房价预测实例# 任务： 基于加州房价数据集建立一个预测模型，使之可以在给定的条件下，预测加州任何地点的房价的中位数。 一、定义问题 1.公司要如何利用我的模型？ 模型的输出将作为另一个机器学习算法的输入，该算法在综合考虑其他因素之后，决定是否值得在该区域投资。 2. 目前是否有可行的解决方案？ 目前该区域的房价信息由一个专家团队完成，他们建立了非常复杂的模型。不仅费时费力，而且他们的评估泵...
一个端到端的机器学习项目全纪录（加州房价预测）
wu_xying的博客
04-10 530
1 导入数据 import pandas 使用DataFrames里的head()看看前五行是什么样子的： housing_data = pandas.read_csv(r'C:\Users\Administrator\Desktop\PHD\Machine learning\housing.csv') housing_data.head() longitude latitude housing_median_age t
住房价格预测：使用机器学习的加利福尼亚住房价格预测
02-12
加州房屋价格预测 机器学习算法非常强大，可以根据历史数据预测房价。 考虑到这些地区的许多特征，问题陈述是要预测加利福尼亚地区的房屋中位价。 StatLib存储库中的“加利福尼亚住房价格”数据集。 此数据集基于1990年加利福尼亚人口普查的数据。
基于简单MLP模型的加州房价预测
Nnn_python的博客
11-06 3145
机器学习是当前热度非常高的领域，可以对房价数据进行预测，具有很高的研究价值。为了更好地学习机器学习，将理论付诸于实践，本文从加州房价预测实验入手，提出了基于简单MLP的房价预测模型方法研究。
人工智能导论 学生作品五_加利福尼亚房价预测_线性回归.docx
07-13
该文档是关于人工智能导论的一份学生作品，主要聚焦于使用线性回归模型来预测加利福尼亚州的房价。以下是这份报告的关键知识点及其详细解释： 1. **线性回归**：线性回归是一种基本的统计学方法，用于建立因变量...
机器学习实验报告加州房价预测线性回归项目手写线性回归notebook.zip
11-16
在这个名为“机器学习实验报告加州房价预测线性回归项目手写线性回归notebook.zip”的压缩包中，包含了对加州房价预测的一个机器学习项目。该项目使用了线性回归这一经典算法，通过手写的代码实现，旨在帮助理解线性...
DM.zip_决策树预测_房价预测_数据挖掘预测_神经网络 房价_预测挖掘
09-21
在这个房价预测项目中，决策树可能首先对加利福尼亚州的小区特征进行分析，如地理位置、房屋面积、卧室数量、附近学校质量等因素，然后通过分割数据集并计算每个特征的重要性来预测房价。决策树的优势在于其易于理解...
加州住房：加州房屋价格的预测分析和EDA
02-15
加州住房 来源 此数据集是可从（波尔图大学）获得的“加利福尼亚住房”数据集的修改版本。 LuísTorgo从StatLib存储库（现已关闭）中获取了它。 数据集也可以从StatLib镜像下载。 该数据集出现在1997年Pace，R.Kelley和Ronald Barry题为“稀疏空间自回归”的论文中，该论文发表在《统计和概率快报》杂志上。 他们使用1990年加利福尼亚人口普查数据构建了该数据。 每个普查区组包含一行。 街区小组是美国人口普查局发布样本数据的最小地理单位（街区小组通常人口为600至3,000人）。 调整 此目录中的数据集几乎与原始数据集相同，但有两个区别： 从total_bedrooms列中随机删除了207个值，因此我们可以讨论如何处理丢失的数据。 添加了另一个名为ocean_proximity类别属性，该属性（非常粗略地）指示每个块组是在海洋附近，在湾区附近，在内陆还
cap2 加州房价预测模型
weixin_30260399的博客
06-30 402
获取所需数据集： import os import pandas as pd import tarfile from six.moves import urllib DOWNLOAD_ROOT="https://raw.githubusercontent.com/ageron/handson-ml/master/" HOUSING_PATH="datasets/hous...
【机器学习】线性回归之加州房价预测
Fx_2003的博客
11-06 3038
线性回归之加州房价预测
机器学习入门实例-加州房价预测-3（选择与训练模型+调参）
陆沙的博客
04-17 715
param_grid表示要测试两组参数，第一组是n_estimators和max_features的组合，所以共有4 x 5 = 20种；由于scikit-learn的cross-validation用的是utility function（越大越好）而非cost function（越小越好），所以这里选用了负数的mse。k-fold cross-validation就是随机产生k个fold，每次选一个fold来评估效果，其他k-1个fold用来训练。可以看到，随机森林的效果好一点点。
【人工智能】—美国加利福尼亚州房价预测实战案例
2202_76035290的博客
06-19 2432
特别是在美国加利福尼亚州，这个以其高房价和房地产市场的波动性而闻名的地方，准确的房价预测显得尤为重要。从硅谷的高科技产业到洛杉矶的娱乐业，再到旧金山的金融中心，加利福尼亚州的经济多元化为房地产市场提供了坚实的基础。大家可能觉得看图没有感觉，我就给大家把预测数据合并到表内，给大家展示预测完全正确的部分数据(见下图，倒数第二列为实际结果，最后一列为预测结果)。比较预测和实际结果（红棕色线为预测数据，蓝色为实际数据），可以看出模型的预测能力还是相当不错的，当然有更多的数据，我相信预测结果会更加准确。
【基础知识】9、加州房价预测
呆呆的猫的博客
09-07 4479
一、项目概览 利用加州普查数据，建立一个加州房价模型。 目标：模型利用该数据进行学习，然后根据其他指标，预测任何街区的房价中位数 二、划定问题 建立模型不可能是最终目标，而是公司的受益情况，这决定了如何划分问题，选择什么算法，评估模型的指标和微调等等 你建立的模型的输出（一个区的房价中位数）会传递给另一个机器学习系统，也有其他信号传入该系统，从而确定该地区是否值得投资。 设计系统：...
机器学习入门项目——加州房价预测
老猫的博客
07-18 2648
代码 获取数据 import os import tarfile # 这个模块解压缩用的 import urllib.request #获取数据 DOWNLOAD_ROOT = "https://raw.githubusercontent.com/ageron/handson-ml2/master/" HOUSING_PATH = os.path.join("datasets", "housing") HOUSING_URL = DOWNLOAD_ROOT + "datasets/housing/hous
cap 2 加州房价预测
zhhy236400的博客
07-03 259
https://www.cnblogs.com/zhhy236400/p/11111180.html
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值