动手学深度学习--预测房价（Kaggle）

目录

访问和读取数据集

数据预处理

处理数据值

处理离散值

模型

训练

𝐾折交叉验证

 模型选择

提交预测

需要注意的函数

slice

---

Kaggle的房价预测比赛，一个简单的线性回归练习，包括如何处理数据、输出csv文件，很实用。

此数据集由Bart de Cock于2011年收集 :cite:De-Cock.2011， 涵盖了2006-2010年期间亚利桑那州埃姆斯市的房价。https://www.kaggle.com/c/house-prices-advanced-regression-techniques
 

访问和读取数据集

竞赛数据分为训练集和测试集。 每条记录都包括房屋的属性值和属性，如街道类型、施工年份、屋顶类型、地下室状况等。 这些特征由各种数据类型组成， 例如，建筑年份由整数表示，屋顶类型由离散类别表示，其他特征由浮点数表示。一些数据完全丢失了，缺失值被简单地标记为“NA”。 每套房子的价格只出现在训练集中。 希望划分训练集以创建验证集。

直接从网站下载数据在程序所在文件夹（或放在其他文件夹），然后读取

%matplotlib inline
import numpy as np
import pandas as pd
import torch
from torch import nn
from torch.utils import data


train_data = pd.read_csv('./train.csv') #需要后缀
test_data = pd.read_csv('test.csv')
print(train_data.shape) # (1460, 81)
print(test_data.shape) # (1459, 80)

数据预处理

第一个特征是ID，将id从数据集中删除。其中训练集没有包括最后一列的价格列。合并两个数据集为了同等的处理数据

all_features = pd.concat((train_data.iloc[:, 1:-1], test_data.iloc[:, 1:]))

处理数据值

将所有缺失的值替换为相应特征的平均，将特征重新缩放到零均值和单位方差来标准化数据。

首先要得到数据类型的列。先观察DataFrame各列的数据类型

print(all_features.dtypes)

MSSubClass         int64
MSZoning          object
LotFrontage      float64
LotArea            int64
Street            object
                  ...   
MiscVal            int64
MoSold             int64
YrSold             int64
SaleType          object
SaleCondition     object
Length: 79, dtype: object

下面采用了高级用法lambda表达式来处理DataFrame的数据列

# 若无法获得测试数据，则可根据训练数据计算均值和标准差
numeric_features = all_features.dtypes[all_features.dtypes != 'object'].index
all_features[numeric_features] = all_features[numeric_features].apply(
    lambda x: (x - x.mean()) / (x.std()))
# 在标准化数据之后，所有均值消失，因此我们可以将缺失值设置为0
all_features[numeric_features] = all_features[numeric_features].fillna(0)

处理离散值

独热编码替换它们。例如，“MSZoning”包含值“RL”和“Rm”。 我们将创建两个新的指示器特征“MSZoning_RL”和“MSZoning_RM”，其值为0或1

可以看到，此转换会将特征的总数量从79个增加到331个。 最后，通过values属性，我们可以从pandas格式中提取NumPy格式，并将其转换为张量表示用于训练。

# “Dummy_na=True”将“na”（缺失值）视为有效的特征值，并为其创建指示符特征
all_features = pd.get_du