算法篇
集成学习
集成学习通过训练多个学习器,然后把这些学习器组合起来,以达到更好的预测性能的目的。
集成学习分为两类:
Bagging:弱学习器的生成没有先后顺序,可以并行训练,如果是分类算法预测结果为多个弱学习器预测结果的众数,如果是是回归算法则是平均值
Boosting:弱学习器的生成有先后顺序,后一个弱学习器是之前学习器的基础上训练的,预测结果为多个弱学习器预测结果之和
随机森林
随机森林就是属于集成学习中Bagging类的算法,弱学习器类型全部都是决策树,很多树组合在一起就变成了森林。
bootstrap:随机又放回抽样,如果不进行随机抽样,每棵树的训练集都是一样的,最终训练出来的树分类结果将是完全一样的。
代码实现
from sklearn.ensemble import RandomForestClassifter # 随机森林分类树
from sklearn.ensemble import RandomForestRegressor # 随机森林回归树
# 实例化
rf = RandomForestClassifter()
#参数:n_estimators:建立多少棵树,默认是100
# random_state=1:随机种子
# 拟合
rf.fit(X_train, y_train)
# 查看准确率
score = rf.score(X_test, y_test)
print('准确率:', score)
# 查看训练集的准确率,用来判断是否过拟合
print('训练集准确率:', rf.score(X_train, y_train))
# 查看第几棵树
export_graphviz(rf[0], # 查看第几棵树,只能一棵一棵看
out_file='文件名.dot'
)
# 查看输的方法
"""
1、在编辑器命令窗口进入代码所在文件夹下
2、输入dot -Tpng 文件名.dot -o 文件名.png
3、在该目录下查看生成png文件即可
"""