常见的机器学习算法（十）决策树、随机森林、极限树

直接调用sklearn的API：

from sklearn import tree                              #决策树分类器#
module = tree.DecisionTreeClassifier(criterion='gini')
module.fit(x, y)
module.score(x, y)
module.predict(test)

from sklearn.ensemble import RandomForestClassifier  #随机森林#
from sklearn.ensemble import RandomForestRegressor
module = RandomForestClassifier()
module.fit(x, y)
module.predict(test)

整体代码1：

from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import cross_val_score  # 交叉验证函数

iris = load_iris()
dtc = DecisionTreeClassifier()
dtc.fit(iris.data, iris.target)

# 使用决策树分类器作为评估模型，iris.data鸢尾花数据作为特征，iris.target鸢尾花分类标签作为目标结果，设定cv为10，使用10折交叉验证，得到最终的交叉验证得分。
print(cross_val_score(dtc, iris.data, iris.target, cv=10))
print('-----------------------------')
print(dtc.predict(iris.data))#预测出对应标签

整体代码2：

from sklearn.model_selection import cross_val_score #交叉验证
from sklearn.datasets import make_blobs
from sklearn.tree import DecisionTreeClassifier #决策树
from sklearn.ensemble import RandomForestClassifier #随机森林
from sklearn.ensemble import ExtraTreesClassifier #极限树

#创建100个类,共10000个样本，每个样本10个特征
x ,y = make_blobs(n_samples=10000, n_features=10, centers=100, random_state=0)

dtc = DecisionTreeClassifier(random_state=0)
score_dtc = cross_val_score(dtc, x, y)
print('score_dtc均值: ', score_dtc.mean())

rfc = RandomForestClassifier(n_estimators=10, random_state=0)
score_rfc = cross_val_score(rfc, x, y)
print('score_rfc均值: ', score_rfc.mean())

etc = ExtraTreesClassifier(n_estimators=10, random_state=0)
score_etc = cross_val_score(etc, x, y)
print('score_etc均值: ', score_etc.mean())

性能对比： 极限树 > 随机森林 > 决策树