python－决策树

1、应用包：

from sklearn import tree

2、训练：

clf = tree.DecisionTreeClassifier(criterion='entropy')

clf.fit(x_train,y_train)

''''' 系数反映每个特征的影响力。越大表示该特征在分类中起到的作用越大 '''

print(clf.feature_importances_)

3、预测：

'''''测试结果的打印'''

answer = clf.predict(x_test)

''''' 把决策树结构写入文件 '''

with open("./features/1113/tree.dot", 'w') as f:

f = tree.export_graphviz(clf, out_file=f)

4、分类准则：基于划分的分类算法

每个叶子节点存放一个类编号

1、信息增益：以某个特征划分情况下，样本划分为其类别的熵（样本携带的信息，信息越大不确定性越大）之差

2、增益率：消除信息增益偏向于取值较多的特征

3、gini：随机取出来样本被分错的概率