7.房价预测新一轮空值填充

最新推荐文章于 2023-07-14 21:03:32 发布
最新推荐文章于 2023-07-14 21:03:32 发布
阅读量417 收藏 1
点赞数
分类专栏： 洛杉矶房价预测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oppo603/article/details/100561324
版权

新一轮空值填充

import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

# 忽略警告信息
import warnings
warnings.filterwarnings("ignore")

data = pd.read_csv('datas/los_data.csv')
train = data

查看空值情况

def getNullCount():
    x = train.isnull().sum()
    print(x[x>0])
    x[x>0].sort_values().plot.bar()  

getNullCount()

LotFrontage      259
Alley           1369
MasVnrType         8
MasVnrArea         8
BsmtQual          37
BsmtCond          37
BsmtExposure      38
BsmtFinType1      37
BsmtFinType2      38
Electrical         1
FireplaceQu      690
GarageType        81
GarageYrBlt       81
GarageFinish      81
GarageQual        81
GarageCond        81
PoolQC          1453
Fence           1179
MiscFeature     1406
dtype: int64

在这里插入图片描述

1. LotFrontage 填充

思路1：房子宽度，是否和小区有关？和小区设计有关？

取不同的Neighborhood的均值和中位数

sns.violinplot('LotFrontage', 'Neighborhood', data=train)

<matplotlib.axes._subplots.AxesSubplot at 0x115c14da0>

在这里插入图片描述

# getNullCount()

neighborhood_group=train.groupby('Neighborhood')
lot_median=neighborhood_group['LotFrontage'].median()
lot_mean=neighborhood_group['LotFrontage'].mean()

# 对空值情况
# train[train['LotFrontage'].isnull()]['Neighborhood']

思路2：是否和LotArea 有关呢？

房子宽度 和 房屋面积(不缺失)

train['LotFrontage'].corr(train['LotArea'])

0.42609501877180833

train['LotFrontage'].corr(np.sqrt(train['LotArea']))

0.6020022167939361

# 添加1列
train['SqrtLotArea']=np.sqrt(train['LotArea'])

train.head()
IdMSSubClassMSZoningLotFrontageLotAreaStreetAlleyLotShapeLandContourUtilities...PoolQCFenceMiscFeatureMiscValMoSoldYrSoldSaleTypeSaleConditionSalePriceSqrtLotArea
0160RL65.08450PaveNaNRegLvlAllPub...NaNNaNNaN022008WDNormal20850091.923882
1220RL80.09600PaveNaNRegLvlAllPub...NaNNaNNaN052007WDNormal18150097.979590
2360RL68.011250PaveNaNIR1LvlAllPub...NaNNaNNaN092008WDNormal223500106.066017
3470RL60.09550PaveNaNIR1LvlAllPub...NaNNaNNaN022006WDAbnorml14000097.724101
4560RL84.014260PaveNaNIR1LvlAllPub...NaNNaNNaN0122008WDNormal250000119.415242

5 rows × 82 columns

# 相关度较大
# 拟合的曲线 y = 0.6 * x
sns.lmplot('SqrtLotArea','LotFrontage', data=train)

<seaborn.axisgrid.FacetGrid at 0x115e61d68>

在这里插入图片描述

sns.jointplot('SqrtLotArea', 'LotFrontage', data=train)

<seaborn.axisgrid.JointGrid at 0x115e541d0>

在这里插入图片描述

# 把空值拿出来
filter = train['LotFrontage'].isnull()
train.LotFrontage[filter] = 0.6 * train.SqrtLotArea[filter]

train['LotFrontage'].isnull().sum()

0



2. MasVnrType 和 MasVnrArea 的填充

砖石镶板种类

# getNullCount()

# MasVnrArea 和 SalePrice 的关系
# 基本没什么关系
plt.scatter(train['MasVnrArea'], train['SalePrice'])

<matplotlib.collections.PathCollection at 0x115bdec18>

在这里插入图片描述

train['MasVnrArea'].corr(train['SalePrice'])

0.4774930470957163

# 什么都没有价格也不低，相关性不太强
sns.boxplot(train['MasVnrType'], train['SalePrice'], data=train) 

<matplotlib.axes._subplots.AxesSubplot at 0x115bfdf98>

在这里插入图片描述

# TypeError: unsupported operand type(s) for /: 'str' and 'int'
# train['MasVnrType'].corr(train['SalePrice'])

# 只有8个空值，有高频填充即可
# 进行聚类，看它 个类 有多少个
train.groupby(['MasVnrType']).count()
IdMSSubClassMSZoningLotFrontageLotAreaStreetAlleyLotShapeLandContourUtilities...PoolQCFenceMiscFeatureMiscValMoSoldYrSoldSaleTypeSaleConditionSalePriceSqrtLotArea
MasVnrType
BrkCmn1515151515150151515...07215151515151515
BrkFace44544544544544544510445445445...28011445445445445445445445
None86486486486486486477864864864...418840864864864864864864864
Stone1281281281281281283128128128...161128128128128128128128

4 rows × 81 columns

# 把None的过滤出来
# 看 MasVnrType 和 MasVnrArea的相关性 
train[train.MasVnrType=='None'][['MasVnrType', 'MasVnrArea']].head()
MasVnrTypeMasVnrArea
1None0.0
3None0.0
5None0.0
8None0.0
9None0.0
# 散点图 + 回归
# 斜率比较缓，相关性比较低
sns.lmplot('MasVnrArea', 'SalePrice', hue='MasVnrType', data=train) 

<seaborn.axisgrid.FacetGrid at 0x113245b38>

在这里插入图片描述

filter=train['MasVnrArea'].isnull()

# getNullCount()

(filter==True).sum()

8

train.MasVnrArea[filter]=0.0

filter=train['MasVnrType'].isnull()
train.MasVnrType[filter]='None'

后续在EDA的特征工程中，可以使用如下填充办法：

分类进行预测MasVnrType，使用回归MasVnrAre

getNullCount()

Alley           1369
BsmtQual          37
BsmtCond          37
BsmtExposure      38
BsmtFinType1      37
BsmtFinType2      38
Electrical         1
FireplaceQu      690
GarageType        81
GarageYrBlt       81
GarageFinish      81
GarageQual        81
GarageCond        81
PoolQC          1453
Fence           1179
MiscFeature     1406
dtype: int64

在这里插入图片描述



3. Electrical的填充

电力系统，保险丝、空气匝

# 先看和真正目标的 有多大的相关性
sns.boxplot('Electrical', 'SalePrice', data=train)

<matplotlib.axes._subplots.AxesSubplot at 0x11362d438>

在这里插入图片描述

# 统计下，用众数填充
train.groupby('Electrical').count()
IdMSSubClassMSZoningLotFrontageLotAreaStreetAlleyLotShapeLandContourUtilities...PoolQCFenceMiscFeatureMiscValMoSoldYrSoldSaleTypeSaleConditionSalePriceSqrtLotArea
Electrical
FuseA94949494949412949494...023294949494949494
FuseF2727272727274272727...02027272727272727
FuseP3333332333...0003333333
Mix1111110111...0001111111
SBrkr13341334133413341334133473133413341334...7256521334133413341334133413341334

5 rows × 81 columns

# 用众数，在朴素贝叶斯中概率也大，用其它的分类模型学习它的数量已经决定它的可能性了
# 数量上已经不均衡了
filter=train['Electrical'].isnull()
train.Electrical[filter]='SBrkr'

# getNullCount()



4. Alley 小路 的填充

EDA 后半段考虑删掉

80%以上是空值，可以删除了

# 小巷的数据分布，只有2个
# 推断 NA不填 本身就是None
train['Alley'].value_counts()

Grvl    50
Pave    41
Name: Alley, dtype: int64

# train['Alley'].value_counts() 与groupby().count()效果一样？

sns.stripplot('Alley', 'SalePrice', data=train)

<matplotlib.axes._subplots.AxesSubplot at 0x1131eb2e8>

在这里插入图片描述

# 大概率都是None
train['Alley']=train['Alley'].fillna('None')

getNullCount()

BsmtQual          37
BsmtCond          37
BsmtExposure      38
BsmtFinType1      37
BsmtFinType2      38
FireplaceQu      690
GarageType        81
GarageYrBlt       81
GarageFinish      81
GarageQual        81
GarageCond        81
PoolQC          1453
Fence           1179
MiscFeature     1406
dtype: int64

在这里插入图片描述



5.BaseMent 群填充

TotalBsmtSF 是一个完整的关于Basement的列，可以拿出来与SalePrice相关性分析

# train.columns

# 本身和房价做分析，相关性挺高
plt.scatter(train['TotalBsmtSF'], train['SalePrice'])

<matplotlib.collections.PathCollection at 0x1139304a8>

在这里插入图片描述

# 未缺失的值 和 房价做分析
basement_cols=['BsmtQual','BsmtCond','BsmtExposure','BsmtFinType1','BsmtFinType2','BsmtFinSF1','BsmtFinSF2']
# 把为空的 筛选出来
# 代表没有地下室
print(train[basement_cols+['TotalBsmtSF']][train['BsmtQual'].isnull()==True])

Empty DataFrame
Columns: [BsmtQual, BsmtCond, BsmtExposure, BsmtFinType1, BsmtFinType2, BsmtFinSF1, BsmtFinSF2, TotalBsmtSF]
Index: []

# train[basement_cols+['TotalBsmtSF']]
# [train['BsmtQual'].isnull()==True]

# 本身没有地下室填 NA的，偷懒没有填
train[train.BsmtCond=='NA']
IdMSSubClassMSZoningLotFrontageLotAreaStreetAlleyLotShapeLandContourUtilities...PoolQCFenceMiscFeatureMiscValMoSoldYrSoldSaleTypeSaleConditionSalePriceSqrtLotArea

0 rows × 82 columns

for col in basement_cols:
    if 'FinSF' not in col:
        train[col]=train[col].fillna('None')

getNullCount()

FireplaceQu      690
GarageType        81
GarageYrBlt       81
GarageFinish      81
GarageQual        81
GarageCond        81
PoolQC          1453
Fence           1179
MiscFeature     1406
dtype: int64

在这里插入图片描述



6.FireplaceQu填充

火炉

sns.lmplot('Fireplaces', 'SalePrice', data=train)

<seaborn.axisgrid.FacetGrid at 0x11393b208>

在这里插入图片描述

sns.lmplot('Fireplaces', 'SalePrice', data=train, hue='FireplaceQu')

<seaborn.axisgrid.FacetGrid at 0x113a06ef0>

在这里插入图片描述

# 上图只给了5个类型，快查表中有6类包括None，推断少了一类None
train['FireplaceQu']=train['FireplaceQu'].fillna('None')

getNullCount()

GarageType        81
GarageYrBlt       81
GarageFinish      81
GarageQual        81
GarageCond        81
PoolQC          1453
Fence           1179
MiscFeature     1406
dtype: int64

在这里插入图片描述



7.Carage 车库列群填充

# 相关性，跟房价关系挺大的
sns.lmplot('GarageArea', 'SalePrice', data=train)

<seaborn.axisgrid.FacetGrid at 0x116914be0>

在这里插入图片描述

# 分布，拟正太分布，本身特征的分布
# 核概率分布曲线 
sns.distplot(train['GarageArea'], color='y', kde=True)

<matplotlib.axes._subplots.AxesSubplot at 0x11691b668>

在这里插入图片描述

# 能放多少量车，3个车位
sns.violinplot(train['GarageCars'], train['SalePrice'])

<matplotlib.axes._subplots.AxesSubplot at 0x116babf98>

在这里插入图片描述

# train.columns

garage_cols=['GarageType','GarageQual','GarageCond','GarageYrBlt','GarageFinish','GarageCars','GarageArea']

train[garage_cols][train['GarageType'].isnull()].head()
# print(train[basement_cols+['TotalBsmtSF']][train['BsmtQual'].isnull()==True])
GarageTypeGarageQualGarageCondGarageYrBltGarageFinishGarageCarsGarageArea
39NaNNaNNaNNaNNaN00
48NaNNaNNaNNaNNaN00
78NaNNaNNaNNaNNaN00
88NaNNaNNaNNaNNaN00
89NaNNaNNaNNaNNaN00
for col in garage_cols:
    if train[col].dtype==np.object:
        train[col]=train[col].fillna('None')
    else:
        train[col]=train[col].fillna(0)

getNullCount()

PoolQC         1453
Fence          1179
MiscFeature    1406
dtype: int64

在这里插入图片描述


8.PoolQC 泳池质量 填充

train.filter(like='Pool', axis=1).head()
PoolAreaPoolQC
00NaN
10NaN
20NaN
30NaN
40NaN
sns.distplot(train['PoolArea'], color='g', kde=True)

<matplotlib.axes._subplots.AxesSubplot at 0x116a60438>

在这里插入图片描述

# 根本没有泳池
train.PoolQC=train['PoolQC'].fillna('None')

getNullCount()

Fence          1179
MiscFeature    1406
dtype: int64

在这里插入图片描述



9.Fence 围栏填充

sns.violinplot(train['Fence'], train['SalePrice'])

<matplotlib.axes._subplots.AxesSubplot at 0x1170339e8>

在这里插入图片描述

总共有5个类型，然而可以统计出来的类型一共只有4类，可以断定最后一类NA用空值代替了

有没有围栏，价格都差不多

train.Fence = train['Fence'].fillna('None')

# 回看填充后的数据分布 与 SalePrice的关系
sns.violinplot(train['Fence'], train['SalePrice'])

<matplotlib.axes._subplots.AxesSubplot at 0x1168f93c8>

在这里插入图片描述

getNullCount()

MiscFeature    1406
dtype: int64

在这里插入图片描述



10.MiscFeature 其余特征，备注特征填充

# 看看它的类型与 SalePrice 全不全
sns.violinplot(train['MiscFeature'], train['SalePrice'])

<matplotlib.axes._subplots.AxesSubplot at 0x116901160>

在这里插入图片描述

因为MiscFeature本来有5类，然而只统计出四类，因此可以断定第五类NA其实是空值代表的

train.MiscFeature = train['MiscFeature'].fillna('None')

# getNullCount() 没空值了



保存处理后的数据

#不保存行索引
train.to_csv('datas/house_data.csv', index=0)
appke_
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据挖掘项目实战—Kaggle入门竞赛：房价预测之EDA与特征工程
柳杰的博客
03-23 1493
文章目录一、解决高维数据分类/回归问题1.案例1:Kaggle竞赛—房价预测二、非标准数据处理1.文本处理2.图片处理3.视频处理 一、解决高维数据分类/回归问题 1.案例1:Kaggle竞赛—房价预测   这是一个高维数据回归问题，依据一个房子的全方位信息，包括面积、地段、环境等预测出房子的价格。房价预测网址 x:[房源信息] y:房价 二、非标准数据处理 1.文本处理 2.图片处理 3.视频处理 ...
Python 房价预测 kaggle 线性回归 SVM 神经网络 随机森林 集成模型
weixin_45529837的博客
09-25 6370
摘要 现如今房产成为大多数家庭总资产中占比最大的一部分，也成为国人投资的重要渠道，研究和预测房产价格对我国人民和宏观经济发展都有重要价值。本文对包含房产各项基本信息及价格的数据进行处理，利用包括线性回归、核岭回归、支持向量回归、神经网络、决策树以及集成方法等多种数据挖掘算法对房产价格构建预测模型，并利用均方误差作为指标对各模型作出了相应评价。总体来看，本文根据房产信息对房产价格做出了较好的预测模型，为房地产相关行业与从业人员提供了较有力的决策依据。 关键词： 房价预测；模型比较；线性模型；集...
Seaborn 中的 FaceGrid 函数 详细解读
Baihu292的博客
07-14 2572
函数是Seaborn库中一个用于创建网格图的高级函数。它允许您在一个网格中显示不同的数据子集，并在每个子图中绘制不同的图形。通过运行上述代码，您将得到一个展示了不同时间和吸烟者/非吸烟者之间总账单金额和小费金额关系的散点图网格。函数和其相关方法，您可以轻松创建具有多个子图的网格图，并以不同的方式可视化数据子集之间的关系。函数时，可以通过不同的示例来说明其用法。方法绘制了每个子图的散点图，其中x轴表示。方法设置了每个子图的标题，其中。方法用于设置x轴和y轴的标签。调整了子图之间的间距，并使用。
数据结构初识
m0_46755575的博客
08-28 505
数据结构初识 1.数据 说到数据结构是什么，我们得认识什么是数据； 数据：**是描述客观事物的符号，是计算机中可以操作的对象，是能被计算机识别，并输入给计算机处理的符号集合。**数据不仅仅包括整型，实型等数值类型，还包括字符及声音，图像，视频等非数值类型。 也就是说，这里的数据，其实就是符号，而且这些符号必须具有俩个前提： 1.可以输入到计算机中； 2.能被计算机程序处理； 对于整型，实型等数值类型，可以进行数值计算。 2.数据元素 数据元素：是组成数据的，有一定意义的基本单位，在计算机中通常作为整体处理。
kaggle实战之房价预测-高级回归技巧（一）
a2352159950的博客
05-31 2281
比赛地址：kaggle房价预测-高级回归技巧 进入之后就可以看到如图所示的界面，这个比赛是预测房价，也就是回归问题 本文代码建议全程使用jupyter进行 1.拿到数据先别慌，总览一下，看看数据的分布情况 #导入所需要的库 import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns #利用pandas读取训练数据 df = pandas.read_csv('train.csv'
空值填充策略.ipynb
11-20
空值填充策略.ipynb
Python pandas.DataFrame 找出有空值的行
09-18
主要介绍了Python pandas.DataFrame 找出有空值的行,本文给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下
8.python查看空值.zip
最新发布
08-23
8.python查看空值.zip8.python查看空值.zip8.python查看空值.zip8.python查看空值.zip8.python查看空值.zip8.python查看空值.zip8.python查看空值.zip8.python查看空值.zip8.python查看空值.zip8.python查看空值.zip...
第一个空值：... | 媒体
03-04
标题中的“第一个空值：... | 媒体”似乎暗示了一个关于数据处理或编程的话题，其中“空值”通常指的是在数据集中未定义、缺失或空的数据项。在计算机科学和信息技术领域，处理空值是常见的任务，尤其是在数据分析、...
机器学习之房价预测实战
永远飞翔的鸟
03-02 2929
背景 kaggle地址：https://www.kaggle.com/c/house-prices-advanced-regression-techniques/overview 赛题给我们79个描述房屋的特征，要求我们据此预测房屋的最终售价，即对于测试集中每个房屋的ID给出对于的SalePrice字段的预测值，主要考察我们数据清洗、特征工程、模型搭建及调优等方面的技巧。本赛题是典型的...
kaggle房价预测模型总结
Rick_Restart的博客
05-04 4703
房价预测任务 目标：根据房屋属性预测每个房子的最终价格。 任务流程： （一）：分析数据指标 不同指标对结果的影响 连续值与离散值的情况 （二）：观察数据正太性 数据变换操作 （三）：数据预处理 缺失值填充 标签转换 （四）：建模预测房价 （一）：分析数据指标 先总体查看数据的特征值与目标值： 特征值： MSSubClass：建筑类 mszoning：一般的分区分类 LotFron...
kaggle房价预测特征意思_Kaggle项目之房价预测
weixin_39543647的博客
11-26 358
一、明确目的本次练习需要围绕以下目的进行：基于竞赛方所提供的爱荷华州埃姆斯的住宅数据信息，预测每间房屋的销售价格。理解问题 ： 观察每个变量特征的意义以及对于问题的重要程度研究主要特征 ： 房价研究其他变量 ： 研究其它变量对“房价”的影响以及它们之间的关系基础的数据清理 ： 对一些缺失数据、异常点和分类数据进行处理测试假设In [1]:# 导入需要的模块 import pandas as pd ...
Mxnet框架学习笔记（二）：Kaggle房价预测实战分析
Together_CZ的博客
10-11 670
Kaggle是一个非常不错的数据分析挖掘比赛的平台，房价数据预测就是其中的一场赛事，之前基于Keras和机器学习的方法已经做过了很多的分析工作，最近正好在使用Mxnet框架，所以就基于Mxnet来实战分析一下房价数据预测。 注册了账户信息之后可以从Kaggle平台上下载所需要的数据集，打开训练数据集，数据特征如下： Id MSSubClass MSZoning LotF...
踩坑中：TypeError: unsupported operand type(s) for /: 'str' and 'int'
热门推荐
互联网学习中的小白
04-04 8万+
在网上查看了很多博客，首先从报错提示来讲TypeError: unsupported operand type(s) for /: 'str' and 'int'，明确了是类型错误：不支持操作类型为整数和字符串，我的犯错原因和这篇有点类似，但不相同，来寻找答案的可以查看一下，对于解决自己的特定问题可以开阔一下思路： 目录 1.错误描述 2.错误原因 3.个人总结 1.错误描述 这是我项...
Python常见报错信息
邱邱邱的博客
03-17 6939
在使用Python时，作为萌新的我总是会粗心的掉这掉那，运行时就会出现各式各样的错误，因此写这么一篇博客，来总结下编写代码的一些常见错误以及解决办法。 NameError 报错： &amp;gt;&amp;gt;&amp;gt; print(a) Traceback (most recent call last): File &quot;&amp;lt;pyshell#0&amp;gt;&quot;, line 1, in &amp;lt
买房子，就该用线性回归
Alex
02-10 1147
美国房价问题 Alex经过一年的努力，终于拿到了美国波士顿麻省理工学院的研究生录取通知书，在远离家乡的地方上学，Alex想在波士顿买一套房子，他手头有一些积蓄，在网上找了几套自己满意的房子，但是又不敢相信网上的价格，人生地不熟的，Alex怕被宰，就从自己做数据分析的朋友Bachelor手里要到了过去几年一些有关波士顿房价的资料。 import numpy as np import pandas ...
机器学习笔记-房价预测实例
yisuoyanyv的博客
05-08 3632
机器学习笔记 摘自kaggle初学者教程 所用数据集为一个房价预测的数据集 import pandas as pd main_file_path = 'dataset/kaggle_house_prices/train.csv' data = pd.read_csv(main_file_path) #删除数据集中的缺失值 # data=data.dropna(axis=0) #显示数据...
机器学习预测房价 (1)-数据可视化
风口上的传奇
12-26 1041
参考： https://blog.csdn.net/wydyttxs/article/details/79680814 下载HousePrices Kernel.ipynb 另存为py文件。 安装： pip install seaborn pip install xgboost
Kaggle: 房价预测
闲庭信步
05-18 3731
0.前言 1.导入数据 2.查看房价分布 3.填充缺失数据 4.建模 5.提交结果 0.前言 本文对Kaggle房价的训练集和测试集进行分析,采用正则线性回归,对房价进行了预测.本人将思路记录下来,以供参考.如有不足之处,欢迎指正. 1.导入数据 import numpy as np import pandas as pd import matplotlib.pyplot...
formdata.append 添加了一个空值
03-08
请问您在使用 formdata.append 时，是否已经给该参数赋值？如果没有赋值，那么添加的就是一个空值。如果已经赋值，但仍然出现空值，可能是因为该参数的值为 null 或 undefined。建议您检查一下代码，确认参数是否正确赋值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值