sklearn学习——随机森林分类和回归

sklearn学习——随机森林分类和回归

1 分类

class sklearn.ensemble.RandomForestClassifier (n_estimators=’10’, criterion=’gini’, max_depth=None,
min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=’auto’,
max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, bootstrap=True, oob_score=False,
n_jobs=None, random_state=None, verbose=0, warm_start=False, class_weight=None)

1.1 参数介绍

• criterion： 不纯度的衡量指标，有基尼系数和信息熵两种选择
• max_depth： 树的最大深度，超过最大深度的树枝都会被剪掉
• min_samples_leaf： 一个节点在分枝后的每个子节点都必须包含至少min_samples_leaf个训练样本，否则分枝就不会发生
• min_samples_split： 一个节点必须要包含至少min_samples_split个训练样本，这个节点才允许被分 枝，否则分枝就不会发生
• max_features max_features： 限制分枝时考虑的特征个数，超过限制个数的特征都会被舍弃， 默认值为总特征个数开平方取整
• min_impurity_decrease： 限制信息增益的大小，信息增益小于设定数值的分枝不会发生
• n_estimators： n_estimators越大，模型的效果往往越好。但是相应的，任何模型都有决策边界，n_estimators达到一定的程度之后，随机森林的精确性往往不在上升或开始波动。
• random_state： RandomStateIf int，random_state是随机数生成器使用的种子; 如果是RandomState实例，random_state就是随机数生成器; 如果为None，则随机数生成器是np.random使用的RandomState实例。
• bootstrap： bootstrap参数默认True，代表采用这种有放回的随机抽样技术
• oob_score： 在使用随机森林时，我们可以不划分测试集和训练集，只需要用袋外数据来测试我们的模型即可。

1.2 代码

# 导入我们需要的包
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt
# 导入需要的数据集
wine = load_wine()
#print(wine.data)
#print(wine.target)
#print(wine)

'''
# 读取数据集
path = '333.csv'
data = np.loadtxt(path, dtype=float, delimiter=',')
x, y = np.split(data, indices_or_sections=(4,), axis=1)  # x为数据，y为标签
'''

# 数据分成训练和测试
Xtrain, Xtest, Ytrain, Ytest = train_test_split(wine.data, wine.target, test_size=0.3)

# 建模，   rfc：随机森林
rfc = RandomForestClassifier(random_state=0)
rfc = rfc.fit(Xtrain, Ytrain)

'''
# 无需划分训练集和测试集
rfc = RandomForestClassifier(n_estimators=25,oob_score=True)
rfc = rfc.fit(wine.data,wine.target)
'''

# 测试精度
score_r = rfc.score(Xtest, Ytest)
print("Random Forest:{}".format(score_r))


print(rfc.feature_importances_)          # 返回每个属性得重要性

# 返回每个样本被分到叶节点的索引
rfc_c = rfc.apply(Xtest)
print(rfc_c)

# 返回测试数据预测分类结果
rfc_pre = rfc.predict(Xtest)
print(rfc_pre)

# 返回每个测试样本对应的被分到每一类标签的概率，标签有几个分类就返回几个概率。
rfc_pre_pro = rfc.predict_proba(Xtest)
print(rfc_pre_pro)

'''
# 交叉验证：是数据集划分为n分，依次取每一份做测试集，每n-1份做训练集，多次训练模型以观测模型稳定性的方法
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt

rfc = RandomForestClassifier(n_estimators=25)
rfc_s = cross_val_score(rfc, wine.data, wine.target, cv=10)
plt.plot(range(1, 11), rfc_s, label =  "RandomForest")
plt.legend()
plt.show()
'''

'''
#  n_estimators的学习曲线
superpa = []
for i in range(200):
    rfc = RandomForestClassifier(n_estimators=i+1, n_jobs=-1)
    rfc_s = cross_val_score(rfc, wine.data, wine.target, cv=10).mean()
    superpa.append(rfc_s)
print(max(superpa), superpa.index(max(superpa)))
plt.figure(figsize=[20, 5])
plt.plot(range(1, 201), superpa)
plt.show()
'''

2 回归

class sklearn.ensemble.RandomForestRegressor (n_estimators=’warn’, criterion=’mse’, max_depth=None,
min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=’auto’,
max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, bootstrap=True, oob_score=False,
n_jobs=None, random_state=None, verbose=0, warm_start=False)

# 导入我们需要的包
from sklearn.datasets import load_boston
from sklearn.model_selection import cross_val_score
from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import train_test_split
import sklearn

# 导入需要的数据集
boston = load_boston()
#print(load_boston)

# 数据分成训练和测试
Xtrain, Xtest, Ytrain, Ytest = train_test_split(boston.data, boston.target, test_size=0.3)

# 建模
rfr = RandomForestRegressor(n_estimators=100, random_state=0)
rfr.fit(Xtrain, Ytrain)

# 计算回归模型的准确率
print("训练集：", rfr.score(Xtrain, Ytrain))# 训练的准确率
print("测试集：", rfr.score(Xtest, Ytest))  # 测试的准确率

# 回归预测值
print("测试数据：", Xtest)
print("回归预测值：", rfr.predict(Xtest))


# 交叉验证
rfr_s = cross_val_score(rfr, boston.data, boston.target, cv=10,
                 # scoring = "neg_mean_squared_error"
                )
print(rfr_s)
# sorted(sklearn.metrics.SCORERS.keys())   # 对应的关键字