sklearn-决策树分类器

sklearn-决策树分类器

导入头文件

import numpy as np
from sklearn.metrics import classification_report
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.tree import DecisionTreeClassifier
from sklearn.datasets import make_classification
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from sklearn.pipeline import Pipeline
import random

random.seed(2024)
np.random.seed(2024)

生成四分类数据

make_classification函数可以创建不同类型的数据集,常用参数及默认值：

• n_samples: 生成多少条样本数据，缺省100条.
• n_features: 有几个数值类型特征，缺省为20.
• n_informative: 有用特征的个数，仅这些特征承载对分类信号，缺省为2.
• n_classes: 分类标签的数量，缺省为2.
• flip_y: 通过反转少量标签增加噪声数据 . 举例，改变少量标签值0的值为1，返回改变1为0. 该值越大噪声越多，缺省值为 0.01.
• class_sep: 类别之间的距离，默认值为1.0，表示原始特征空间中的类别之间的平均距离. 值越小分类越难.
  该函数返回包含函数Numpy 数组的tuple，分别为特征X，以及标签y。

train_test_split函数用于划分训练集和测试集。

• test_size: 如果为float，则应介于0.0和1.0之间，并表示要包含在测试拆分中的数据集的比例。如果为int，则表示测试样本的绝对数量，默认值=None。
• train_size: 如果为float，则应介于0.0和1.0之间，并表示要包含在训练分割中的数据集的比例。如果为int，则表示训练样本的绝对数量，默认值=None。
• random_state: int，RandomState实例或None，默认值=None
  控制在应用拆分之前应用于数据的混洗。通过多个函数调用传递一个int以获得可再现的输出。请参阅术语表。
• shuffle: 是否在拆分前对数据进行打乱，默认值=True。
  stratify：默认值=无，如果不是“无”，则以分层方式拆分数据，并将其用作类标签。

X, y = make_classification(
    n_samples=4000,  # 4000 observations
    n_features=8,  # 8 total features
    n_informative=4,  # 4 'useful' features
    n_classes=4,  # binary target/label
    flip_y=0.1, # flip_y - high value to add more noise
    class_sep=0.5, # class_sep - low value to reduce space between classes
    random_state=2024  # if you want the same results as mine
)

# Split data into training and testing datasets
X_train, X_test, y_train, y_test = train_test_split(
        X, y, test_size=0.25, random_state=2024, stratify=y)
print(X_train.shape, X_test.shape, y_train.shape, y_test.shape)

构建决策树分类器

基于训练数据集创建，构建决策树分类器。
DecisionTreeClassifier函数参数详解：

• class_weight ： 指定样本各类别的的权重，主要是为了防止训练集某些类别的样本过多导致训练的决策树过于偏向这些类别。这里可以自己指定各个样本的权重，如果使用“balanced”，则算法会自己计算权重，样本量少的类别所对应的样本权重会高。
• criterion ： gini或者entropy,前者是基尼系数，后者是信息熵；
• max_depth ： int or None, optional (default=None) 设置决策随机森林中的决策树的最大深度，深度越大，越容易过拟合，推荐树的深度为：5-20之间；
• max_features： None（所有），log2，sqrt，N 特征小于50的时候一般使用所有的；
• max_leaf_nodes ： 通过限制最大叶子节点数，可以防止过拟合，默认是"None”，即不限制最大的叶子节点数。
• min_impurity_split： 这个值限制了决策树的增长，如果某节点的不纯度(基尼系数，信息增益，均方差，绝对差)小于这个阈值则该节点不再生成子节点。即为叶子节点 。
• min_samples_leaf ： 这个值限制了叶子节点最少的样本数，如果某叶子节点数目小于样本数，则会和兄弟节点一起被剪枝。
• min_samples_split ： 设置结点的最小样本数量，当样本数量可能小于此值时，结点将不会在划分。
• min_weight_fraction_leaf： 这个值限制了叶子节点所有样本权重和的最小值，如果小于这个值，则会和兄弟节点一起被剪枝默认是0，就是不考虑权重问题。
• splitter ： best or random 前者是在所有特征中找最好的切分点 后者是在部分特征中，默认的”best”适合样本量不大的时候，而如果样本数据量非常大，此时决策树构建推荐”random” 。

创建pipline，先进行标准化，再利用PCA降维，最后使用DecisionTree分类。

pipe_lr = Pipeline([
    ('sc', StandardScaler()),
    ('pca', PCA()),
    ('tree', DecisionTreeClassifier(random_state=2024))
])

搜参

使用GridSearchCV函数搜索最优参数：

param_grid = {'pca__n_components': [2, 8, 20, 30, 40, 50],
              'tree__criterion': ["gini", "entropy"],  # 信息增益，gini系数
              'tree__splitter': ["random", "best"],
              'tree__max_depth': range(5, 50, 5),  # 限制树的最大深度
              'tree__min_samples_split': range(10, 210, 50),
              'tree__min_samples_leaf': [5, 10], }
clf = GridSearchCV(pipe_lr, param_grid=param_grid, cv=5, n_jobs=-1, verbose=1)
clf.fit(X, y)
print(clf.best_estimator_)
print(clf.best_params_, "  ", "得分：", clf.best_score_)
y_test_pred = clf.predict(X_test)

测试结果

使用classification_report函数评估分类结果：

class_names = ['Class-0', 'Class-1', 'Class-2', 'Class-3']
print("\n" + "#" * 50)
print("\nClassifier performance on training dataset\n")
print(classification_report(y_train, clf.predict(X_train), target_names=class_names))
print("#" * 50 + "\n")

print("#" * 50)
print("\nClassifier performance on test dataset\n")
print(classification_report(y_test, y_test_pred, target_names=class_names))
print("#" * 50 + "\n")