python打卡day13-CSDN博客

本文链接：https://blog.csdn.net/weixin_64961833/article/details/147672408

知识点

不平衡数据集的处理策略：过采样、修改权重、修改阈值
交叉验证代码

作业：

从示例代码可以看到效果没有变好，所以很多步骤都是理想是好的，但是现实并不一定可以变好。这个实验仍然有改进空间，如下：

1. 我还没做smote+过采样+修改权重的组合策略，有可能一起做会变好。

2. 我还没有调参，有可能调参后再取上述策略可能会变好

一、过采样（数据层面）

过采样一般包含2种做法：随机采样和SMOTE。过采样是把少的类别补充和多的类别一样多（增加数据），欠采样是把多的类别减少和少的类别一样（减少数据），一般都是缺数据，所以很少用欠采样

1.随机过采样----ROS

随机过采样是从少数类中随机选择样本，并将其复制后添加到训练集。过程如下：

1. 确定少数类的样本数。

2. 从少数类中随机选择样本，并将其复制。

3. 将复制的样本添加到训练集。

随机过采样的优点是，它可以增加少数类的样本数，从而提高模型的泛化能力；缺点是，它可能会增加训练集的大小，从而增加训练时间。此外，它可能会增加噪声，并且可能会增加模型的偏差

随机过采样用到的是 imbalanced-learn 库里 over_sampling 模块的 RandomOverSampler() 方法，其具体代码过程和模型实例化、训练的代码类似

# 1. 随机过采样
from imblearn.over_sampling import RandomOverSampler

# 宛如模型实例化和训练的步骤
ros = RandomOverSampler(random_state=42) # 创建随机过采样对象
X_train_ros, y_train_ros = ros.fit_resample(X_train, y_train) # 对训练集进行随机过采样

print("随机过采样后训练集的形状：", X_train_ros.shape, y_train_ros.shape) 

# 训练随机森林模型（使用随机过采样后的训练集）
rf_model_ros = RandomForestClassifier(random_state=42)
start_time_ros = time.time()
rf_model_ros.fit(X_train_ros, y_train_ros)
end_time_ros = time.time()

print(f"随机过采样后训练与预测耗时: {end_time_ros - start_time_ros:.4f} 秒")

# 在测试集上预测
rf_pred_ros = rf_model_ros.predict(X_test)

print("\n随机过采样后随机森林 在测试集上的分类报告：")
print(classification_report(y_test, rf_pred_ros))
print("随机过采样后随机森林 在测试集上的混淆矩阵：")
print(confusion_matrix(y_test, rf_pred_ros))

2.smote过采样

smote过采样是合成样本的方法，核心思想是通过在少数类样本的特征空间中进行插值来合成新的样本

1. 对于少数类中的每个样本，计算它与少数类中其他样本的距离，得到其k近邻（一般k取5或其他合适的值）。

2. 从k近邻中随机选择一个样本。

3. 计算选定的近邻样本与原始样本之间的差值。

4. 生成一个在0到1之间的随机数。

5. 将差值乘以随机数，然后加到原始样本上，得到一个新的合成样本。

6. 重复上述步骤，直到合成出足够数量的少数类样本，使得少数类和多数类样本数量达到某种平衡。

7. 使用过采样后的数据集训练模型并评估模型性能。

举个例子更简洁明了，想象你有一筐水果：苹果（多数类）有100个，橙子（少数类）只有10个

SMOTE的做法：

找邻居：对每个橙子，找到和它最像的5个橙子（按特征相似度）
造新橙子：在这些橙子之间随机选一个，然后在它们"中间"位置（特征值的中间点）生成一个新橙子→ 比如：橙子A糖度=5，橙子B糖度=7 → 新橙子糖度=6
批量生产：重复这个过程，直到橙子数量接近苹果数量

关键点：

不是简单复制橙子，而是创造相似的新橙子，最终让分类器不再偏袒苹果（避免模型只认识苹果）

smote过采样用到的是 imbalanced-learn 库里 over_sampling 模块的 SMOTE() 方法，其具体代码过程和模型实例化、训练的代码类似

from imblearn.over_sampling import SMOTE 
smote = SMOTE(random_state=42)
X_train_smote, y_train_smote = smote.fit_resample(X_train, y_train)

print("SMOTE过采样后训练集的形状：", X_train_smote.shape, y_train_smote.shape)

# 训练随机森林模型（使用SMOTE过采样后的训练集）
rf_model_smote = RandomForestClassifier(random_state=42)
start_time_smote = time.time()
rf_model_smote.fit(X_train_smote, y_train_smote)
end_time_smote = time.time()

print(f"SMOTE过采样后训练与预测耗时: {end_time_smote - start_time_smote:.4f} 秒")

# 在测试集上预测
rf_pred_smote = rf_model_smote.predict(X_test)

print("\nSMOTE过采样后随机森林 在测试集上的分类报告：")
print(classification_report(y_test, rf_pred_smote))
print("SMOTE过采样后随机森林 在测试集上的混淆矩阵：")
print(confusion_matrix(y_test, rf_pred_smote))

二、修改权重（算法层面）

这种方法在模型训练阶段介入，通过调整不同类别样本对损失函数的贡献来影响模型的学习过程。

核心思想：为不同类别的错误分类分配不同的“代价”或“权重”。通常，将少数类样本错分为多数类的代价设置得远高于反过来的情况。

作用机制：修改模型的损失函数。当模型错误分类一个具有高权重的少数类样本时，会受到更大的惩罚（更高的损失值）。

目的：迫使学习算法在优化参数时更加关注少数类，努力学习到一个能够更好地区分少数类的决策边界。它试图从根本上让模型“学会”识别少数类。

影响：直接改变模型的参数学习过程和最终学到的模型本身。

继续拿上面苹果橙子的例子来说：

默认情况下，AI如果无脑全猜"苹果"，正确率高达91%（100/110）→ 但橙子全被漏判（召回率=0%）。修改权重的本质就是改变游戏规则，就像调整考试评分标准：

1. 原规则（默认权重）：→ AI发现：专心认苹果更划算（因为苹果多，扣分风险小）

认错1个苹果扣1分
认错1个橙子也扣1分

2. 新规则（class_weight = 'balanced'）：→ AI被迫：宁可多认几个橙子，也不敢漏判橙子

认错1个苹果扣1分
认错1个橙子扣10分（因为橙子少，要重点保护）

上面提到的 class_weight 参数是 Scikit-learn 库中模型自带的，设置情况如下：

默认不设置 (class_weight = None)→ 算法平等对待所有类别（苹果和橙子认错扣分一样）→ 结果：模型会偏向多数类（苹果）
自动平衡 (class_weight = 'balanced')→ 算法自动给少数类（橙子）加权重→ 权重与类别出现频率成反比，公式：橙子权重 = 总样本数/(类别数×橙子数量)→ 效果：橙子认错扣分变多，强迫模型重视橙子
手动设置 (class_weight = {dict})→ 提供一个字典手动为每个类别标签指定权重例如{0: 1, 1: 10}，直接告诉算法：认错1个橙子扣10分，认错1个苹果扣1分→ 适合明确知道业务需求的情况（比如诈骗识别宁可误杀）

三、修改阈值（算法层面）

这种方法在模型训练完成之后介入，通过调整最终分类的决策规则来平衡不同类型的错误。

核心思想：改变将模型输出的概率（或得分）映射到最终类别标签的门槛。

作用机制：模型通常输出一个样本属于正类（通常设为少数类）的概率 `p`。默认情况下，如果 `p > 0.5`，则预测为正类。修改阈值意味着改变这个 `0.5`，例如，如果要求更高的召回率，可以将阈值降低（如 `p > 0.3` 就预测为正类）。

目的：在不改变已训练好的模型的情况下，根据业务需求调整精确率（Precision）和召回率（Recall）之间的权衡。通常用于提高少数类的召回率（但可能会牺牲精确率）。

影响：不改变模型学到的参数或决策边界本身，只改变如何解释模型的输出。

优点：实现简单，无需重新训练模型。非常直观，可以直接在 PR 曲线或 ROC 曲线上选择操作点。适用于任何输出概率或分数的模型。

缺点：治标不治本。如果模型本身就没学好如何区分少数类（概率输出普遍很低），单纯降低阈值可能效果有限或导致大量误报（低精确率）。

继续拿上面苹果橙子的例子来说：

AI已经训练好一个分类器，输入一个水果 → 输出是橙子的概率，默认规则是概率>50%就判定为橙子。修改阈值就像调整"警报灵敏度"：

1. 调低阈值（如>30%就判橙子）→ 适合：宁可错杀苹果也要抓住所有橙子（如诈骗检测）

效果：更多水果被识别为橙子（包括一些长得像橙子的苹果）
优点：橙子漏判少（高召回率）
缺点：苹果容易被误伤（低精确率）

2. 调高阈值（如>70%才判橙子）→ 适合：必须确保橙子判断绝对准确（如医疗诊断）

效果：只有非常像橙子的才会被识别
优点：判为橙子的基本都是真橙子（高精确率）
缺点：很多橙子被漏判（低召回率）

对比一下修改权重和修改阈值，改权重：移动决策边界，当给橙子（少数类）加大权重后，边界会向苹果方向移动，更多区域被划为橙子（提高橙子的识别率）；改阈值：移动判断线，降阈值放宽橙子认定标准（更多水果能"移民"成橙子）

四、实践建议：

先选对评价标准：别只看准确率，要关注召回率（Recall）、F1分数等更适合不平衡数据的指标
优先从根源解决问题：调权重（class_weight='balanced'）或过采样（如SMOTE）
用上面两个方法时一定要交叉验证：用分层抽样（Stratified K-Fold）确保结果可靠
阈值微调放最后：像调手机灵敏度一样，根据需求微调判断标准（比如诈骗识别可以降低阈值）
组合拳可能更有效：比如同时使用SMOTE和调整权重

核心原则：根据你的实际需求选择方法（是要少漏判？还是要少误判？）

import numpy as np # 引入 numpy 用于计算平均值等
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import StratifiedKFold, cross_validate # 引入分层 K 折和交叉验证工具
from sklearn.metrics import make_scorer, accuracy_score, precision_score, recall_score, f1_score, confusion_matrix, classification_report
import time
import warnings
warnings.filterwarnings("ignore")

# 假设 X_train, y_train, X_test, y_test 已经准备好
# X_train, y_train 用于交叉验证和最终模型训练
# X_test, y_test 用于最终评估

# --- 1. 默认参数的随机森林 (原始代码，作为对比基准) ---
print("--- 1. 默认参数随机森林 (训练集 -> 测试集) ---")
start_time = time.time()
rf_model_default = RandomForestClassifier(random_state=42)
rf_model_default.fit(X_train, y_train)
rf_pred_default = rf_model_default.predict(X_test)
end_time = time.time()
print(f"默认模型训练与预测耗时: {end_time - start_time:.4f} 秒")
print("\n默认随机森林 在测试集上的分类报告：")
print(classification_report(y_test, rf_pred_default))
print("默认随机森林 在测试集上的混淆矩阵：")
print(confusion_matrix(y_test, rf_pred_default))
print("-" * 50)


# --- 2. 带权重的随机森林 + 交叉验证 (在训练集上进行CV) ---
print("--- 2. 带权重随机森林 + 交叉验证 (在训练集上进行) ---")

# 确定少数类标签 (非常重要！)
# 假设是二分类问题，我们需要知道哪个是少数类标签才能正确解读 recall, precision, f1
# 例如，如果标签是 0 和 1，可以这样查看：
counts = np.bincount(y_train)
minority_label = np.argmin(counts) # 找到计数最少的类别的标签
majority_label = np.argmax(counts)
print(f"训练集中各类别数量: {counts}")
print(f"少数类标签: {minority_label}, 多数类标签: {majority_label}")
# !!下面的 scorer 将使用这个 minority_label !!

# 定义带权重的模型
rf_model_weighted = RandomForestClassifier(
    random_state=42,
    class_weight='balanced'  # 关键：自动根据类别频率调整权重
    # class_weight={minority_label: 10, majority_label: 1} # 或者可以手动设置权重字典
)

# 设置交叉验证策略 (使用 StratifiedKFold 保证每折类别比例相似)
cv_strategy = StratifiedKFold(n_splits=5, shuffle=True, random_state=42) # 5折交叉验证

# 定义用于交叉验证的评估指标
# 特别关注少数类的指标，使用 make_scorer 指定 pos_label
# 注意：如果你的少数类标签不是 1，需要修改 pos_label
scoring = {
    'accuracy': 'accuracy',
    'precision_minority': make_scorer(precision_score, pos_label=minority_label, zero_division=0),
    'recall_minority': make_scorer(recall_score, pos_label=minority_label),
    'f1_minority': make_scorer(f1_score, pos_label=minority_label)
}

print(f"开始进行 {cv_strategy.get_n_splits()} 折交叉验证...")
start_time_cv = time.time()

# 执行交叉验证 (在 X_train, y_train 上进行)
# cross_validate 会自动完成训练和评估过程
cv_results = cross_validate(
    estimator=rf_model_weighted,
    X=X_train,
    y=y_train,
    cv=cv_strategy,
    scoring=scoring,
    n_jobs=-1, # 使用所有可用的 CPU 核心
    return_train_score=False # 通常我们更关心测试折的得分
)

end_time_cv = time.time()
print(f"交叉验证耗时: {end_time_cv - start_time_cv:.4f} 秒")

# 打印交叉验证结果的平均值
print("\n带权重随机森林 交叉验证平均性能 (基于训练集划分)：")
for metric_name, scores in cv_results.items():
    if metric_name.startswith('test_'): # 我们关心的是在验证折上的表现
         # 提取指标名称（去掉 'test_' 前缀）
        clean_metric_name = metric_name.split('test_')[1]
        print(f"  平均 {clean_metric_name}: {np.mean(scores):.4f} (+/- {np.std(scores):.4f})")

print("-" * 50)


# --- 3. 使用权重训练最终模型，并在测试集上评估 ---
print("--- 3. 训练最终的带权重模型 (整个训练集) 并在测试集上评估 ---")
start_time_final = time.time()
# 使用与交叉验证中相同的设置来训练最终模型
rf_model_weighted_final = RandomForestClassifier(
    random_state=42,
    class_weight='balanced'
)
rf_model_weighted_final.fit(X_train, y_train) # 在整个训练集上训练
rf_pred_weighted = rf_model_weighted_final.predict(X_test) # 在测试集上预测
end_time_final = time.time()

print(f"最终带权重模型训练与预测耗时: {end_time_final - start_time_final:.4f} 秒")
print("\n带权重随机森林 在测试集上的分类报告：")
# 确保 classification_report 也关注少数类 (可以通过 target_names 参数指定标签名称)
# 或者直接查看报告中少数类标签对应的行
print(classification_report(y_test, rf_pred_weighted)) # , target_names=[f'Class {majority_label}', f'Class {minority_label}'] 如果需要指定名称
print("带权重随机森林 在测试集上的混淆矩阵：")
print(confusion_matrix(y_test, rf_pred_weighted))
print("-" * 50)

# 对比总结 (简单示例)
print("性能对比 (测试集上的少数类召回率 Recall):")
recall_default = recall_score(y_test, rf_pred_default, pos_label=minority_label)
recall_weighted = recall_score(y_test, rf_pred_weighted, pos_label=minority_label)
print(f"  默认模型: {recall_default:.4f}")
print(f"  带权重模型: {recall_weighted:.4f}")

@浙大疏锦行