人工智能直通车系列25【机器学习基础】（超参数调优方法（网格搜索等）Adaboost 算法原理）

浪九天

于 2025-03-17 13:15:00 发布

阅读量916

点赞数 12

分类专栏：人工智能直通车文章标签： python 机器学习开发语言人工智能深度学习神经网络自然语言处理

本文链接：https://blog.csdn.net/TEUTEU/article/details/146287989

版权

人工智能直通车专栏收录该内容

39 篇文章

订阅专栏

超参数调优方法（以网格搜索为例）

详细解释

超参数是在模型训练之前需要手动设置的参数，它们不能通过模型从数据中学习得到。超参数的选择对模型的性能有着重要影响，因此需要进行调优。网格搜索（Grid Search）是一种常用的超参数调优方法。

原理：网格搜索会在给定的超参数取值范围内，对所有可能的超参数组合进行穷举搜索。它会使用交叉验证的方法评估每个超参数组合对应的模型性能，最终选择性能最优的超参数组合。

步骤：

定义超参数空间：确定需要调优的超参数以及每个超参数的取值范围。
生成所有可能的超参数组合：将每个超参数的取值进行组合，得到所有可能的超参数组合。
使用交叉验证评估每个组合：对于每个超参数组合，使用交叉验证的方法在训练数据上评估模型的性能。
选择最优超参数组合：选择性能最优的超参数组合作为最终的超参数设置。

优缺点：

优点：简单易懂，能够保证找到给定超参数空间中的最优组合。
缺点：计算成本高，尤其是当超参数空间较大时，需要评估大量的超参数组合。

场景示例

from sklearn import datasets
from sklearn.model_selection import GridSearchCV
from sklearn.svm import SVC
from sklearn.model_selection import train_test_split

# 加载数据集
iris = datasets.load_iris()
X = iris.data
y = iris.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 定义超参数空间
param_grid = {
    'C': [0.1, 1, 10],
    'kernel': ['linear', 'rbf']
}

# 创建支持向量机模型
svm = SVC()

# 创建网格搜索对象
grid_search = GridSearchCV(svm, param_grid, cv=5)

# 进行网格搜索
grid_search.fit(X_train, y_train)

# 输出最优超参数组合和对应的性能
print("最优超参数组合:", grid_search.best_params_)
print("最优性能:", grid_search.best_score_)

# 使用最优模型进行预测
best_model = grid_search.best_estimator_
y_pred = best_model.predict(X_test)

Adaboost 算法原理

详细解释

Adaboost（Adaptive Boosting）是一种集成学习算法，属于提升（Boosting）算法的范畴。它通过迭代地训练一系列弱分类器，并将它们组合成一个强分类器。

核心思想：Adaboost 算法在每一轮训练中会调整样本的权重，使得前一轮被错误分类的样本在当前轮的权重增加，而被正确分类的样本权重减小。这样，后续的弱分类器会更加关注那些难以分类的样本。

步骤：

初始化样本权重：给每个样本赋予相同的初始权重，通常为 $w_i = \frac{1}{n}$ ，其中 $n$ 是样本数量。
迭代训练弱分类器：
- 在每一轮迭代中，使用当前的样本权重训练一个弱分类器 $h_t(x)$ 。
- 计算弱分类器的误差率 $\epsilon_t=\sum_{i = 1}^{n}w_iI(y_i\neq h_t(x_i))$ ，其中 $I$ 是指示函数，当 $y_i\neq h_t(x_i)$ 时， $I = 1$ ，否则 $I = 0$ 。
- 计算弱分类器的权重 $\alpha_t=\frac{1}{2}\ln(\frac{1 - \epsilon_t}{\epsilon_t})$ 。
- 更新样本权重 $w_{i}^{new}=w_{i}\exp(-\alpha_ty_ih_t(x_i))$ ，并进行归一化处理。
组合弱分类器：最终的强分类器 $H(x)=\text{sign}(\sum_{t = 1}^{T}\alpha_th_t(x))$ ，其中 $T$ 是弱分类器的数量。

优缺点：

优点：
- 可以自适应地调整样本权重，提高分类性能。
- 对噪声和异常值具有一定的鲁棒性。
- 可以使用各种类型的弱分类器，如决策树桩。
缺点：
- 训练时间较长，因为需要迭代训练多个弱分类器。
- 对异常值非常敏感，如果异常值的权重在迭代过程中不断增加，可能会影响最终的分类效果。

场景示例

from sklearn.ensemble import AdaBoostClassifier
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 生成分类数据集
X, y = make_classification(n_samples=1000, n_features=10, n_informative=5, n_classes=2, random_state=42)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建 Adaboost 分类器
adaboost = AdaBoostClassifier(n_estimators=50, random_state=42)

# 训练模型
adaboost.fit(X_train, y_train)

# 进行预测
y_pred = adaboost.predict(X_test)

# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print("准确率:", accuracy)

通过以上示例，你可以了解网格搜索超参数调优方法和 Adaboost 算法的基本原理和使用方法。