以下是一个使用梯度提升决策树(Gradient Boosting Decision Trees, GBDT)进行分类的简单例子。我们将使用 Python 中的 scikit-learn
库,并使用经典的鸢尾花(Iris)数据集。
代码实现:
# 导入库
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
# 加载数据集
iris = load_iris()
X = iris.data # 特征
y = iris.target # 标签
# 将数据集划分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 创建 Gradient Boosting 分类器
gbdt_classifier = GradientBoostingClassifier(n_estimators=100, learning_rate=0.1, max_depth=3, random_state=42)
# 训练 GBDT 模型
gbdt_classifier.fit(X_train, y_train)
# 进行预测
y_pred = gbdt_classifier.predict(X_test)
# 评估模型
accuracy = accuracy_score(y_test, y_pred)
print(f"GBDT 模型的准确率: {accuracy:.2f}")
代码说明:
-
数据集加载:
- 使用
load_iris()
函数加载鸢尾花数据集,这是一种常用的分类数据集,包括 150 个样本、4 个特征和 3 个类别。
- 使用
-
数据集划分:
- 使用
train_test_split
将数据集划分为训练集(80%)和测试集(20%)。
- 使用
-
创建 GBDT 分类器:
GradientBoostingClassifier
是scikit-learn
中实现的梯度提升分类器。n_estimators=100
:设置使用 100 个弱分类器(决策树)。learning_rate=0.1
:设置每个分类器的学习率,这影响每个分类器对最终结果的贡献。max_depth=3
:限制每个决策树的最大深度,控制模型的复杂度,防止过拟合。
-
训练和预测:
- 通过
fit
方法训练 GBDT 模型。 - 使用
predict
方法对测试集进行预测。
- 通过
-
模型评估:
- 使用
accuracy_score
计算模型的准确率。
- 使用
结果:
最终会输出模型在测试集上的准确率,例如:
GBDT 模型的准确率: 0.97
这个结果表明,GBDT 模型在鸢尾花数据集的测试集上表现良好。GBDT 通过逐步优化损失函数,能够高效地进行分类,并且在多个任务中具有很好的性能。