excel和Sklearn库多元线性回归算法预测房价

一、多元线性回归说明

在回归分析中，如果有两个或两个以上的自变量，就称为多元回归。事实上，一种现象常常是与多个因素相联系的，由多个自变量的最优组合共同来预测或估计因变量，比只用一个自变量进行预测或估计更有效，更符合实际。因此多元线性回归比一元线性回归的实用意义更大。

二、EXCEL进行多元线性回归

1）数据清洗（对excel文件进行清洗）

1.可以发现文件里的数据有些为0，现实是不合理的

2.利用唯一标识house_id，删除重复值

3.缺失值处理，将bedrooms和bathrooms列的缺失行删除

①选中地址列的数据区域即bedrooms所在的列，点击数据——筛选——图中下拉三角形，筛选值为0：

②选中删除bedrooms值为0的所有行：

4.按上面同样的删除bathrooms列的缺失值，处理后表里neighbor和style列还有字符值：

5.可以选择删除字符列或将列值改掉，我们选择改掉：
①选择开始–>查找与替换–>替换：

②将ABC的值分别改为10,20,30：

6.处理后的表：

2）excel多元线性回归

1.选择数据——数据分析——回归——确定

2.以price作为Y值输入区间，以neighborhood、area、bedrooms、bathrooms、style作为X值输入区间，勾选残差，点击确定得到下图结果：

三、Sklearn库多元线性回归

1）数据不进行清理

1.导入包

import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt

2.读取文件

df = pd.read_csv('D:/house_prices.csv')#返回表格的一些基本信息，主要介绍数据集各列的数据类型，是否为空值，内存占用情况
df.info(); df.head()

3.去除第一列house_id

new_data=data.iloc[:,1:] #除掉id这一列
new_data.head()

4.赋值变量

x_data = new_data.iloc[:, 0:5] #area、bedrooms、bathroom对应列
y_data = new_data.iloc[:, -1] #price对应列
print(x_data, y_data, len(x_data))

5.建立模型并输出结果

# 应用模型
model = linear_model.LinearRegression()
model.fit(x_data, y_data)
print("回归系数：", model.coef_)
print("截距：", model.intercept_)
print('回归方程: price=',model.coef_[0],'*neiborhood+',model.coef_[1],'*area +',model.coef_[2],'*bedrooms +',model.coef_[3],'*bathromms +',model.coef_[4],'*sytle ',model.intercept_)

2）数据清洗

1.赋值变量

new_data_Z=new_data.iloc[:,0:]
new_data_IQR=new_data.iloc[:,0:]
 

2.异常处理

# 异常值处理
# ================ 异常值检验函数：iqr & z分数 两种方法 =========================
def outlier_test(data, column, method=None, z=2):
    """ 以某列为依据，使用 上下截断点法 检测异常值(索引) """
    """ 
    full_data: 完整数据
    column: full_data 中的指定列，格式 'x' 带引号
    return 可选; outlier: 异常值数据框 
    upper: 上截断点;  lower: 下截断点
    method：检验异常值的方法（可选, 默认的 None 为上下截断点法），
            选 Z 方法时，Z 默认为 2
    """
    # ================== 上下截断点法检验异常值 ==============================
    if method == None:
        print(f'以 {column} 列为依据，使用 上下截断点法(iqr) 检测异常值...')
        print('=' * 70)
        # 四分位点；这里调用函数会存在异常
        column_iqr = np.quantile(data[column], 0.75) - np.quantile(data[column], 0.25)
        # 1，3 分位数
        (q1, q3) = np.quantile(data[column], 0.25), np.quantile(data[column], 0.75)
        # 计算上下截断点
        upper, lower = (q3 + 1.5 * column_iqr), (q1 - 1.5 * column_iqr)
        # 检测异常值
        outlier = data[(data[column] <= lower) | (data[column] >= upper)]
        print(f'第一分位数: {q1}, 第三分位数：{q3}, 四分位极差：{column_iqr}')
        print(f"上截断点：{upper}, 下截断点：{lower}")
        return outlier, upper, lower
    # ===================== Z 分数检验异常值 ==========================
    if method == 'z':
        """ 以某列为依据，传入数据与希望分段的 z 分数点，返回异常值索引与所在数据框 """
        """ 
        params
        data: 完整数据
        column: 指定的检测列
        z: Z分位数, 默认为2，根据 z分数-正态曲线表，可知取左右两端的 2%，
           根据您 z 分数的正负设置。也可以任意更改，知道任意顶端百分比的数据集合
        """
        print(f'以 {column} 列为依据，使用 Z 分数法，z 分位数取 {z} 来检测异常值...')
        print('=' * 70)
        # 计算两个 Z 分数的数值点
        mean, std = np.mean(data[column]), np.std(data[column])
        upper, lower = (mean + z * std), (mean - z * std)
        print(f"取 {z} 个 Z分数：大于 {upper} 或小于 {lower} 的即可被视为异常值。")
        print('=' * 70)
        # 检测异常值
        outlier = data[(data[column] <= lower) | (data[column] >= upper)]
        return outlier, upper, lower

3.异常检测

#对数据进行异常值检测
outlier, upper, lower = outlier_test(data=df, column='price', method='z')

outlier.info();
outlier.sample(5)

4.输出

x_data = new_data_Z.iloc[:, 0:5]
y_data = new_data_Z.iloc[:, -1]
# 应用模型
model = linear_model.LinearRegression()
model.fit(x_data, y_data)
print("回归系数：", model.coef_)
print("截距：", model.intercept_)
print('回归方程: price=',model.coef_[0],'*neiborhood+',model.coef_[1],'*area +',model.coef_[2],'*bedrooms +',model.coef_[3],'*bathromms +',model.coef_[4],'*sytle ',model.intercept_)
 

四、总结

本次实验其实和一元线性回归所用方法很相似，唯一不同的点就是X值区间的选择，由一元线性回归的单个变量变为多个。更加熟悉使用sklearn库调用函数的方法，了解了一些处理数据的基本方法，包括处理缺省值和非数值数据的处理方法等。

五、参考资料

【机器学习】机器学习之多元线性回归

excel数据清洗_数据清洗步骤

sklearn多元线性回归预测房价

sklearn线性回归实现房价预测模型