[自用] 菜菜的sklearn 随机森林回归器

最新推荐文章于 2024-07-25 11:55:54 发布

Lennng

最新推荐文章于 2024-07-25 11:55:54 发布

阅读量288

点赞数

分类专栏： sklearn 文章标签： sklearn 随机森林回归机器学习

本文链接：https://blog.csdn.net/weixin_44845052/article/details/129198682

版权

sklearn 专栏收录该内容

10 篇文章 1 订阅

订阅专栏

3 RandomForestRegressor

所有参数、属性和接口与随机森林分类器相同

仅有的不同：

1 不纯度的指标criterion不同

2 模型衡量指标不同

3.1 重要参数，属性和接口

参数 criterion

回归树衡量分枝质量的指标，支持的标准有三种：

1）输入“mse”，使用均方误差 mean squared error(MSE)，为父节点和叶节点之间的均方误差的差额；被用来做特征选择的标准，这种方法通过使用叶节点的均值来最小化L2损失

2）输入“friedman_mse”，使用费尔德曼均方误差，这是费尔德曼针对潜在分枝问题改进后的均方误差

3）输入“mae”，使用绝对平均误差 mean absolute error(MAE)，这种方法使用叶节点的中值来最小化L1损失

在回归树中，MSE不仅是分枝质量衡量指标，也是我们最常用的衡量回归树回归质量的指标；

$MSE = \frac{1}{N}\sum_{i=1}^{N}(fi - yi)^2$

当使用交叉验证或其他方式获取回归树的结果时，往往选择均方误差作为评估，追求MSE越小越好

然而，回归树的接口score返回的是R平方，并不是MSE

$R^2 = 1-\frac{u}{v}$ $u = \sum_{i=1}^{N}(fi-yi)^2$ $v=\sum_{i=1}^{N}(yi-\hat{y})^2$

虽然均方误差永远为正，但是sklearn当中使用均方误差作为评判标准时，却是计算“负均方误差”(neg_mean_squared_error)；真正的均方误差MSE的数值，是neg_mean_squared_error去掉负号的数字

属性 feature_importances_

接口 apply, fit, predict, score

随机森林回归用法

from sklearn.datasets import load_boston
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import RandomForestRegressor

boston = load_boston()
regressor = RandomForestRegressor(n_estimators=100, random_state=0)
cross_val_score(regressor, boston.data, boston.target,cv=10
                ,scoring = "neg_mean_squared_error")

import sklearn
# sklearn当中的模型评估指标（打分）列表
sorted(sklearn.metrics.SCORERS.keys())

3.2 实例：用随机森林回归填补缺失值

1. 导入需要的库

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import load_boston
from sklearn.impute import SimpleImputer
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import cross_val_score

2. 导入数据集并探索

dataset = load_boston()
dataset.data.shape

X_full,y_full = dataset.data, dataset.target
# 样本数量
n_samples = X_full.shape[0]
# 标签数量
n_features = X_full.shape[1]

3. 为完整数据集放入缺失值

# 首先确定放入的缺失数据的比例，假设50%，就要缺失3289个数据

rng = np.random.RandomState(0)
missing_rate = 0.5
n_missing_samples = int(np.floor(n_samples*n_features*missing_rate))
# np.floor向下取整，返回.0格式的浮点数

# 所有数据要随机分布在数据集的各行各列中
# 一个缺失的数据需要一个行索引和一个列索引
# 如果能创造一个数组，包含3289个0-506的行索引，3289个0-13的列索引
# 我们就可以利用索引为数据中的任意3289个位置赋空值
# 然后我们用0，均值和随机森林来填写这些缺失值，最后查看回归结果如何

missing_features = rng.randint(0,n_features,n_missing_samples)
missing_samples = rng.randint(0,n_samples,n_missing_samples)
# randint(下限，上限，n) 请在下限和上限之间取出n个整数

# 如果需要的数据量小于样本量506，可以采用np.random.choice来抽样
# 它会随机抽取不重复的随机数，可以让数据更加分散，不集中在一些行
# missing_samples = rng.choice(n_samples,n_missing_samples,replace=False)

# 创造缺失的数据集
X_missing = X_full.copy()
y_missing = y_full.copy()

# 创造空值
X_missing[missing_samples, missing_features] = np.nan

# 转换成dataframe方便后续操作
X_missing = pd.DataFrame(X_missing)

4. 使用0和均值填补缺失值

# 使用均值进行填补
from sklearn.impute import SimpleImputer
imp_mean = SimpleImputer(missing_values=np.nan, strategy='mean')
X_missing_mean = imp_mean.fit_transform(X_missing)

# 使用0进行填补
imp_0 = SimpleImputer(missing_values=np.nan, strategy='constant',fill_value=0)
X_missing_0 = imp_0.fit_transform(X_missing)

# 检查有没有没补上的缺失值
pd.DataFrame(X_missing_mean).isnull().sum()
# False=0,True=1,如果没补上求和会大于0
pd.DataFrame(X_missing_0).isnull().sum()

5. 使用随机森林回归填补缺失值

任何回归都是从特征矩阵中学习，并求解连续型标签y的过程；

这是因为回归算法认为，特征矩阵和标签存在着某种联系；

标签和特征是可以相互转换的；

回归填补缺失值正是利用了这种思想

对于一个有n个特征的数据，其中特征T有缺失值；

我们就把特征T当作标签，其他n-1个特征和原本的标签组成新的特征矩阵；

T没有缺失的部分就是Ytrain，缺失的部分只有特征没有标签，是我们需要预测的部分；

即：

特征T不缺失的值对应的其他n-1个特征 + 原本的标签 = Xtrain

特征T不缺失的值 = Ytrain

特征T缺失的值对应的其他n-1个特征 + 原本的标签 = Xtest

特征T缺失的值 = Ytest

这种方法适用于，某一个特征大量缺失，其他特征缺很完整的情况

假如除了特征T之外，其他特征也有缺失值？

遍历所有特征，从缺失最少的开始填补；

因为填补缺失最少的特征所需要的准确信息最少；

填补一个特征时，先将其他特征的缺失值用0代替，每完成一次回归预测，就将预测值放到原本的特征矩阵中，再继续填补下一个特征；

每一次填补完毕，有缺失值的特征会减少一个，每次循环后，需要0来填补的特征越来越少；

当进行到最后一个特征时（缺失值最多的），已经没有需要用0填补的特征，而我们已经用回归为其他特征填补大量有效信息，可以用来填补缺失最多的特征；

遍历所有特征后，数据就完整，不再有缺失值了

# 用随机森林填补缺失值
X_missing_reg = X_missing.copy()

X_missing_reg.isnull().sum(axis=0)# 按列加和

# 找出数据集中，缺失值从小到大排列的特征们的顺序，有了这些特征的索引
sortindex = np.argsort(X_missing_reg.isnull().sum(axis=0)).values
# argsort排序：返回 从小到大排序的顺序所对应的索引

for i in sortindex:
    
    # 构建我们的新特征矩阵（没有被选中去填充的特征+原始的标签）和新标签（被选中去填充的特征）
    df = X_missing_reg
    fillc = df.iloc[:,i]
    df = pd.concat([df.iloc[:,df.columns != i],pd.DataFrame(y_full)],axis=1)
    
    # 在新特征矩阵中，对含有缺失值的列，进行0的填补
    df_0 = SimpleImputer(missing_values=np.nan,
                        strategy='constant',fill_value=0).fit_transform(df)
    
    # 找出我们的训练集和测试集
    Ytrain = fillc[fillc.notnull()]
    Ytest = fillc[fillc.isnull()]
    Xtrain = df_0[Ytrain.index,:]
    Xtest = df_0[Ytest.index,:]
    
    # 用随机森林回归填补缺失值
    rfc = RandomForestRegressor(n_estimators=100)
    rfc = rfc.fit(Xtrain,Ytrain)
    Ypredict = rfc.predict(Xtest)
    
    
    X_missing_reg.loc[X_missing_reg.iloc[:,i].isnull(),i] = Ypredict

6. 对填补好的数据进行建模

# 对所有数据进行建模，取得MSE结果
X = [X_full,X_missing_mean,X_missing_0,X_missing_reg]

mse=[]

for x in X:
    estimator = RandomForestRegressor(random_state=0,n_estimators=100)
    scores = cross_val_score(estimator,x,y_full,scoring='neg_mean_squared_error',cv=5).mean()
    mse.append(scores*-1)

[*zip(['X_full','X_missing_mean','X_missing_0','X_missing_reg'],mse)]

7. 用所得结果画出条形图

x_labels = ['full data','zero imputaion','mean imputaion','regressor imputation']
colors = ['r','g','b','orange']

plt.figure(figsize=(12,6)) # 画出画布
ax = plt.subplot(111) # 添加子图
for i in np.arange(len(mse)):
    ax.barh(i,mse[i],color=colors[i],alpha=0.6,align='center') # 横着的条形图
ax.set_title('imputaion techniques with boston data')
ax.set_xlim(left=np.min(mse)*0.9,right=np.max(mse)*1.1) # x轴的区间
ax.set_yticks(np.arange(len(mse))) # y的刻度
ax.set_xlabel('MSE')
ax.invert_yaxis() # 反转y轴的方向
ax.set_yticklabels(x_labels) # y的刻度标签
plt.show()