二手房数据分析预测

1.选题背景

1.1理论意义

在当今城市化飞速发展的社会背景下，房地产市场成为经济发展的关键因素之一。二手房市场作为房地产市场的重要组成部分，对于投资者、房地产开发商和普通居民来说都具有重要意义。然而，由于市场的不确定性和复杂性，二手房交易涉及多个因素，包括地理位置、房屋面积、楼层高低、房屋年龄等。在这种背景下，通过对二手房数据进行深入的分析和预测，可以为相关利益方提供更为准确和可靠的决策支持。

1.2研究目的与意义

本研究旨在通过对二手房市场数据的深度分析，建立预测模型，以提供更准确的房地产市场预测信息。这将有助于投资者、开发商和政府制定更明智的决策，减少不确定性，促进房地产市场的稳定和可持续发展。

2.问题分析

二手房市场作为房地产市场的重要组成部分，其复杂性和不确定性给相关利益方带来了诸多问题。以下是该论文问题分析的一些关键方面：

2.1市场波动性与不确定性

二手房市场受多种因素影响，包括宏观经济状况、政策调整、地理位置等。这些因素的变动导致市场波动，增加了投资者和开发商的不确定性。问题在于如何在这种不稳定性的环境中做出明智的决策。

2.2关键因素识别与权衡

二手房价格涉及众多因素，如地理位置、房屋面积、楼层高低、房屋年龄等。问题在于如何准确识别并权衡这些因素的影响，以更好地理解价格的形成机制。

2.3数据质量与预测准确性

数据的质量直接关系到预测模型的准确性。问题在于如何处理和清洗大规模的二手房数据，确保模型的可靠性，并提高预测的精度。

通过深入分析以上问题，该论文旨在提供全面的理论和实证研究，为解决二手房市场中的复杂问题提供深刻见解，为决策者提供实用的工具和信息，以更好地应对市场的挑战和机遇。解决这些问题将有助于提高决策的科学性和准确性，推动二手房市场的健康发展。

3.算法设计

为解决二手房市场的复杂性和不确定性，本论文将采用以下算法设计，结合大数据分析和机器学习技术，以提高对二手房价格的准确性和预测能力。

​​​​​​​3.1数据收集与清洗

从可靠的房地产交易平台和政府数据源中获取大规模的二手房交易数据。进行数据清洗，处理缺失值、异常值和重复值，确保数据的质量和一致性。

​​​​​​​3.2特征工程

通过深入分析二手房市场的关键因素，构建合适的特征集合。利用领域知识和数据挖掘技术进行特征工程，提取能够有效反映房价影响的特征，如地理位置、房屋面积、楼层高低、房屋年龄等。

​​​​​​​3.3机器学习算法选择与优化

选择适用于回归问题的机器学习算法，如线性回归、决策树、随机森林、支持向量回归等。通过交叉验证和参数调优，优化模型的性能，提高对二手房价格的准确性和泛化能力。

通过以上算法设计，本文旨在建立一个综合、准确且可解释的二手房价格预测模型，为决策者提供科学的决策支持，推动二手房市场的健康发展。​​​​​​​

4.实验过程

4.1数据清洗与整理

对数据集进行数据清洗有利于提高整体数据质量，为分析和建模做准备，且有助于防止错误、提高分析结果的准确性和可靠性。

经过对数据集的观察可知，“Unnamed:0”索引列对于数据分析没有任何帮助。而“总价”“建筑面积”“单价”列所对应的数据不是数值类型，因此无法进行计算。接下来对数据集进行处理。

首先将索引列“Unnamed:0”删除，再将数据中的所有空值删除，最后分别将“总价”“建筑面积”“单价”列所对应数据中的字符删除，仅保留数字部分，再将数字转换为float类型，再次输出数据。

4.2二手房房价预测

4.2.1 区域二手房均价分析

首先将数据按所属区域进行划分，然后计算每个区域的二手房均价，再将区域及对应的房屋均价信息通过条形图显示，如下所示：

4.2.2 区域二手房数据及占比分析

在实现各区房屋数量比例时，首先需要通过需对数据中的每个区域进行分组，然后获取每个区域的房屋数量。接下来，获取每个区域及其对应的二手房数量，最后计算每个区域二手房数量在总房屋数量中的百分比。具体步骤如下：

1. 利用groupby方法对房屋区域进行分组，使用size()方法获取每个区域的分组数量（即区域对应的房屋数量）。

2. 利用index属性和values属性分别获取每个区域及其对应二手房数量。

3. 最后，计算每个区域房屋数量的百分比。

4.2.3 全市二手房装修程度分析

在实现全市二手房装修程度分析时，首先需要将二手房的装修程度进行分组并将每个分组对应的数量统计出来，再将装修分类信息与对应的数量进行数据的分离工作，具体步骤如下：

1.通过groupby方法对房子的装修程度进行分组，并使用size()方法获取每个装修程度分组的数量；

2.然后使用index属性与values属性分别获取每个装修程度分组与对应的数量。

如下所示：

4.2.4 热门户型均价分析

在进行热门户型均价分析时，首先需要对房屋的户型进行分组，并获取每个户型分组的数量。接着，对户型分组数量进行降序排序，并提取前5组户型数据作为热门户型的数据。最后，计算每个户型的均价。具体步骤如下：

1. 通过groupby方法对房屋的户型进行分组，使用size方法获取每个户型分组的数量。

2. 使用sort_values方法对户型分组数量进行降序处理，然后通过head（5）方法提取前5组户型数据。

3. 利用mean方法计算每个户型的均价。

4. 最后，使用index属性和values属性分别获取户型及其对应的均价。

4.2.5 二手房房价预测

在实现二手房房价预测时，需要提供二手房源数据中的参考数据（特征值），这里将“户型”和“建筑面积”作为参考数据来进行房价的预测，所以需要观察“户型”数据是否符合分析条件。如果参考数据不符合分析条件，则需要再次对数据进行清洗处理。再通过源数据中已知的参考数据“户型”和“建筑面积”进行未知房价的预测。实现的具体步骤如下：

1.查看源数据中“户型”和“建筑面积”数据，确认数据是否符合数据分析条件。

2.从输出结果得知：“户型”数据中包含文字信息，而文字信息并不能实现数据分析时的拟合工作，所以需要将“室”“厅”“卫”进行独立字段的处理。

3.将数据中没有参考意义的数据删除，其中包括“小区名字”“户型”“朝向”“楼层”“装修”“区域”“单价”“空值”，然后将“建筑面积”小于300平方米的房子信息筛选出来。

4.添加自定义预测数据，其中包括“总价”“建筑面积”“室”“厅”“卫”，总价数据为None，其他数据为模拟数据。然后进行数据的标准化，定义特征数据与目标数据，最后训练模型进行未知房价的预测。

根据上图可见，文中采用的二手房售价预测模型拟合效果较为良好，多数年份的数据都得到了准确的预测。然而，仍存在个别年份预测结果出现较大误差。

5.效果分析

通过对二手房数据分析预测的研究，本论文取得了显著的效果，主要体现在以下几个方面：

​​​​​​​5.1预测准确性提升

通过采用线性支持向量回归模型(LinearSVR)，论文成功地提高了二手房价格的预测准确性。实验结果表明，新模型相较于传统模型在测试集上的预测均方根误差（RMSE）显著降低，说明该模型在捕捉房价变动趋势方面取得了显著的改进。

​​​​​​​5.2数据清洗与整理

对数据进行预处理，将数据分为训练集和测试集，并对训练集进行了均值标准化处理，以便更好地应用于支持向量回归模型。且对新数据进行了特征标准化，对新数据进行了与训练集相同的均值标准化处理。

综合来看，本文在二手房数据分析预测领域取得了显著效果，为相关领域的研究和实践提供了有益的经验和方法。其提出的模型在实际应用中表现出良好的可行性和实用性。

6.核心代码

#数据清洗与整理
import pandas as pd
from sklearn.svm import LinearSVR
pd.set_option(display.unicode.east_asian_width, True)
df = pd.read_csv(r"C:\Users\xxxx\Desktop\data.csv")
df.head()
del df[Unnamed: 0]
df.dropna(axis=0, how=any, inplace=True)
df[单价] = df[单价].map(lambda d: d.replace(元/平米, )).astype(float)
df[总价] = df[总价].map(lambda z: z.replace(万, )).astype(float)
df[建筑面积] = df[建筑面积].map(lambda p: p.replace(平米, )).astype(float)
df.head()
#区域二手房均价分析
def region_avg_price():
    grouped_data = data.groupby(区域)
    avg_price_group = grouped_data[单价].mean()
    regions = avg_price_group.index
    avg_prices = avg_price_group.values.astype(int)
    return regions, avg_prices
regions, avg_prices = region_avg_price() 
average_price_bar(regions, avg_prices, 各区二手房均价分析)
#区域二手房数据及占比分析
def region_house_numbers():
    group_numbers = data.groupby(区域).size()
    regions = group_numbers.index
    nums = group_numbers.values
    percentages = nums / nums.sum() * 100
    return regions, percentages
regions, percentages = region_house_numbers()
pie_chart(percentages, regions, 各区二手房数量所占比例)
#二手房装修程度分析
def get_renovation():
    group_renovation = data.groupby(装修).size() 
    type = group_renovation.index   
    number = group_renovation.values 
    return type, number 
type, number = get_renovation()  
renovation_bar(type,number,全市二手房装修程度分析)
#热门户型均价分析
def get_house_type():
    type_count = df.groupby(户型).size()
    sorted_types = type_count.sort_values(ascending=False)
    top_five_types = sorted_types.head(5)
    type_mean_price = df.groupby(户型)[单价].mean()
    types = type_mean_price[top_five_types.index].index
    prices = type_mean_price[top_five_types.index].values.astype(int)
    return types, prices
types, prices = get_house_type()
bar(prices, types, 热门户型均价分析)
#二手房价预测
data_copy = data.copy()    
print(data_copy[[户型, 建筑面积]].head())
data_copy[[室, 厅, 卫]] = data_copy[户型].str.extract((\d+)室(\d+)厅(\d+)卫)
data_copy[室] = data_copy[室].astype(float)  
data_copy[厅] = data_copy[厅].astype(float)  
data_copy[卫] = data_copy[卫].astype(float)  
print(data_copy[[室,厅,卫]].head()) 
del data_copy[小区名字]
del data_copy[户型]
del data_copy[朝向]
del data_copy[楼层]
del data_copy[装修]
del data_copy[区域]
del data_copy[单价]
data_copy.dropna(axis=0, how=any, inplace=True) 
new_data = data_copy[data_copy[建筑面积] < 300].reset_index(drop=True)
print(new_data.head())
new_data.loc[2505] = [None, 88.0, 2.0, 1.0, 1.0]
new_data.loc[2506] = [None, 136.0, 3.0, 2.0, 2.0]
data_train=new_data.loc[0:2504]
x_list = [建筑面积,  室, 厅, 卫]   
data_mean = data_train.mean()              
data_std = data_train.std()            
data_train = (data_train - data_mean) / data_std 
x_train = data_train[x_list].values 
y_train = data_train[总价].values 
linearsvr = LinearSVR(C=0.1) 
linearsvr.fit(x_train, y_train)    
x = ((new_data[x_list] - data_mean[x_list]) / data_std[x_list]).values  
new_data[uy_pred] = linearsvr.predict(x) * data_std[总价] + data_mean[总价]  
print(真实值与预测值分别为：\n, new_data[[总价, y_pred]])
y = new_data[[总价]][2490:]        
y_pred = new_data[[y_pred]][2490:]  
broken_line(y,y_pred,二手房售价预测)