原理:
决策树生成算法: 是递归地生成决策树,它往往分类精细,对训练数据集分类准确,但是对未知数据集却没有那么准确,有比较严重的过拟合问题。因此,为了简化模型的复杂度,使模型的泛化能力更强,需要对已生成的决策树进行剪枝。
集成分类算法: 集成(Ensemble)分类模型综合考量多个分类器的预测结果,从而做出决策。
随机森林分类器用相同的训练数据同时搭建多个独立的分裂模型,然后通过投票的方式,以少数服从多数的原则作出最终分类的决策。在相同的训练数据上同时搭建多棵决策树,每棵决策树会放弃固定的排序算法,随机选取特征。
梯度提升决策树按照一定的次序搭建多个分类模型。模型之间彼此存在依赖关系。后续加入的模型对集成模型的综合性能有所贡献。每棵决策树在生成的过程中都会尽可能降低整体集成模型在训练集上的拟合误差。
代码:
import pandas as pd
df = pd.read_excel('E:\Desktop\learning\python3\cell_test.xlsx')
X = df[['ABCC4', 'ABL1', 'ADAM19','AFG3L2','ANXA2','ANXA2P2','APOC1','APOL4','AREG','ARRDC3','ASF1A','ATF3','ATG4B','ATHL1','ATP6V0D1','ATP6V0E2','BCL11A','BHLHE40','BIN1','BST2','BTG3','C10orf128','C16orf54','C1orf186','C1orf228','C1orf54','C2orf27A','C2orf68',&#