东北大学大数据班机器学习大作业——印度房价预测

准确预测房价是一项艰巨的任务。买家不只是关心房子的大小（平方英尺），还有其他各种因素（例如房子的地理位置，是否为二手房等等）在决定房子/房产的价格中起着关键作用。要找出有助于理解买方行为的正确属性集是极其困难的。我将通过设计算法来测试回归技能，以准确预测印度的房价。数据集已在印度各地的各种房地产聚合器中收集，该数据集一共12个影响因素，我将尽可能准确地预测价格。

此外，在本次挑战中，我将空间进行特征工程，并掌握高级回归技术，如随机森林以及各种其他集成技术。

2、实验描述

对完整的数据集进行获取、导入、数据清洗、数据可视化分析、数据预处理、数据标准化、特征选择、模型训练和数据降维、特征工程、主成分分析PCA探索。在处理过程中利用图表、图线等方式对样本分布、模型结果等进行分析与评估。

在本实验中，根据在kaggle竞赛网站上下载的Train.csv数据集，对数据集中的列名空格、数据空值、数据重复值、分类型特征的编码与哑变量处理、数据内容以及数据异常值进行检测和处理。接着进行数据可视化探索。随后对数据进行预处理，包括对数据进行归一化、标签、独热编码等。

通过相关性分析等初步筛选特征，随后通过RFE递归特征消除法，根据模型分数变化图来决定特征选择后的特征维度。

然后训练决策树模型，通过构建学习曲线调节参数、使用网格搜索调节参数等方法，找出模型的最优参数，得出模型准确率、方差等指标。

3、实验目的

使用python数据分析的技术和机器学习的技术探究印度房价与各类因素的关联性，使用数据处理与回归分析完成美国房价的预测模型，并进行调参，努力获取最佳的模型。

学习数据分析的基本步骤和方法，根据分析结果进行数据处理等操作，让数据能够更好适应训练模型，提高预测的准确性和普适性。了解并掌握各类机器学习算法的原理、适用范围和使用方法等，能够根据给定的数据集进行模型训练和参数调优，并分析模型预测结果的准确性。学会探索数据降维等处理方法对模型的适用性。

4、实验环境

操作系统： Windows 10

编译环境：Jupyter Notebook 6.3.0

Python：3.8.8

Numpy：1.91.2

Pandas：1.1.3

Matplotlib：3.1.1

5、实验原理

5.1 决策树

决策树（Decision Tree）是一种非参数的有监督学习方法，它能够从一系列有特征和标签的数据中总结出决策规则，并用树状图的结构来呈现这些规则，以解决分类和回归问题。决策树算法容易理解，适用各种数据，在解决各种问题时都有良好表现，尤其是以树模型为核心的各种集成算法，在各个行业和领域都有广泛的应用。

5.2 随机森林

集成学习（ensemble learning）是时下非常流行的机器学习算法，它本身不是一个单独的机器学习算法，而是通过在数据上构建多个模型，集成所有模型的建模结果。基本上所有的机器学习领域都可以看到集成学习的身影，在现实中集成学习也有相当大的作用，它可以用来做市场营销模拟的建模，统计客户来源，保留和流失，也可用来预测疾病的风险和病患者的易感性。在现在的各种算法竞赛中，随机森林，梯度提升树（GBDT），Xgboost等集成算法的身影也随处可见，可见其效果之好，应用之广。

5.3 数据预处理与特征工程

数据预处理是从数据中检测，纠正或删除损坏，不准确或不适用于模型的记录的过程可能面对的问题有：数据类型不同，比如有的是文字，有的是数字，有的含时间序列，有的连续，有的间断。也可能，数据的质量不行，有噪声，有异常，有缺失，数据出错，量纲不一，有重复，数据是偏态，数据量太大或太小数据预处理的目的：让数据适应模型，匹配模型的需求

特征工程是将原始数据转换为更能代表预测模型的潜在问题的特征的过程，可以通过挑选最相关的特征，提取特征以及创造特征来实现。其中创造特征又经常以降维算法的方式实现。可能面对的问题有：特征之间有相关性，特征和标签无关，特征太多或太小，或者干脆就无法表现出应有的数据现象或无法展示数据的真实面貌特征工程的目的：1) 降低计算成本，2) 提升模型上限

5.4 主成分分析

在降维过程中，我们会减少特征的数量，这意味着删除数据，数据量变少则表示模型可以获取的信息会变少，模型的表现可能会因此受影响。同时，在高维数据中，必然有一些特征是不带有有效的信息的（比如噪音），或者有一些特征带有的信息和其他一些特征是重复的（比如一些特征可能会线性相关）。我们希望能够找出一种办法来帮助我们衡量特征上所带的信息量，让我们在降维的过程中，能够即减少特征的数量，又保留大部分有效信息——将那些带有重复信息的特征合并，并删除那些带无效信息的特征等等——逐渐创造出能够代表原特征矩阵大部分信息的，特征更少的，新特征矩阵。

5.5 逻辑回归

线性回归对数据的要求很严格，比如标签必须满足正态分布，特征之间的多重共线性需要消除等等，而现实中很多真实情景的数据无法满足这些要求，因此线性回归在很多现实情境的应用效果有限。逻辑回归是由线性回归变化而来，因此它对数据也有一些要求，而我们之前已经学过了强大的分类模型决策树和随机森林，它们的分类效力很强，并且不需要对数据做任何预处理