基础DataWhale夏令营第三期学习笔记（任务二）

 一.体验想法

距离8.15开营也过去五天咯，大致进行了1.数据分析与可视化 2.模型交叉验证 3.特征工程这三个任务二里的内容，虽然没完全理解这三个的具体原理，但用倒是会有一点用了。从只会python基础语法和一点点爬虫到现在理解了一些这些的机器学习的东东，收获颇多，比较充实。

二.赛事任务二介绍与操作

用户新增预测挑战赛：

2023 iFLYTEK A.I.开发者大赛-讯飞开放平台

举办方：科大讯飞

 1.数据探索性分析（Exploratory Data Analysis，简称EDA）

是在开始建模之前对数据集进行详细分析的过程。它旨在发现数据中的模式、趋势和异常，并理解变量之间的关系。以下是一般的数据探索性分析步骤：

A.数据收集与观察：

首先，收集相关数据并对其进行观察。了解数据的来源、数据类型、数据格式以及缺失值等，A是数据探索性分析的第一步，它包括了对数据集进行初步了解和观察，下面是一个简单的代码演示与结果，（数据为本次赛事的文件内容）展示了如何进行数据收集与观察：

 B.数据清洗与预处理

对数据进行清洗，包括处理缺失值、异常值，去除重复数据等。对数据进行预处理，例如数据标准化、归一化等。

import pandas as pd
# 读取数据集
data = pd.read_csv('data.csv')
# 处理缺失值
# 查看每列缺失值的数量
print(data.isnull().sum())
# 删除包含缺失值的行
data = data.dropna()
# 处理异常值
# 定义异常值的阈值
threshold = 3
# 计算每列数据的Z-score
z_scores = (data - data.mean()) / data.std()
# 找出超过阈值的异常值所在的行
outliers = z_scores.abs() > threshold
# 删除包含异常值的行
data = data[~outliers.any(axis=1)]
# 处理重复值
# 查找重复的行
duplicates = data.duplicated()
# 删除重复行
data = data[~duplicates]
# 数据预处理
# 进行数据标准化
data_normalized = (data - data.mean()) / data.std()
# 进行数据归一化
data_normalized = (data - data.min()) / (data.max() - data.min())

假设数据集文件名为"data.csv"。首先使用pd.read_csv()函数将数据读取到一个Pandas的DataFrame对象中。然后，通过isnull().sum()函数可以查看每列缺失值的数量，isnull()函数用于判断每个元素是否为空值，sum()函数用于对每列的缺失值进行求和。接着，使用dropna()函数删除包含缺失值的行。

下一步是处理异常值。首先，通过计算每列数据的Z-score，可以将数据转换为标准正态分布。然后，设定一个阈值（例如3），通过比较Z-score与阈值的大小来判断是否为异常值。超过阈值的值即被认为是异常值。最后，使用any(axis=1)函数找出包含异常值的行，并通过布尔索引进行删除。

最后是处理重复值。使用duplicated()函数可以查找重复的行，返回一个布尔类型的Series，表示每行是否是重复行。使用~操作符将布尔值取反，找到非重复的行。通过布尔索引，将非重复的行保留在数据集中。

数据预处理是可选的步骤，可以根据具体需求进行处理。常见的预处理方法有数据标准化和数据归一化。需要注意的是，并非所有模型都需要进行数据标准化和归一化。例如，决策树和随机森林等基于树的模型通常不受特征尺度的影响，因此不需要进行数据标准化和归一化。

所以，因为本次用的树模型，我就没有进行数据标准化和归一化。

知识点补充（数据标准化和归一化）：

数据标准化和归一化是常用的数据预处理技术，作用有：
1.帮助模型收敛：数据标准化和归一化可以使得不同特征具有相似的尺度和范围。这有助于减小特征之间的差异，避免某些特征对模型的训练产生过大的影响，从而帮助模型更快地收敛。

2.提高模型性能：在某些模型（如K近邻算法、支持向量机和神经网络等）中，特征的数值范围差异较大可能导致模型的误差增大或者倾向于选择数值范围更大的特征。通过数据标准化和归一化，可以消除这种差异，使得模型能够更加准确地捕捉不同特征的重要性。

3.提高模型的解释性：在某些情况下，模型需要将特征的系数作为变量的权重来进行解释。如果特征具有不同的尺度和范围，那么权重也会反映这种差异，使得模型的解释性降低。通过数据标准化和归一化，可以使得特征具有相似的尺度，从而更容易解释模型中各个特征的重要性。

C. 可视化分析与相关性分析

通过绘制直方图、箱线图、散点图、折线图、热力图等可视化图形来展示数据的分布、变化趋势、相互关系等。 
热力图（Heatmap）是一种通过使用颜色编码来可视化数据矩阵的图表。
我使用了热力图来分析，形如这般：

 知识点补充（热力图）：

热力图在可视化分析中有以下的作用和使用：
1.显示数据的分布和关联：热力图可以将数据矩阵中的每个单元格的数值映射为不同的颜色，从而直观地展示了数据的分布和关联。通过热力图，你可以快速识别出数据中的模式、趋势和异常值等特征。
2.比较不同类别或时间点之间的差异：热力图通常用于比较多个类别或时间点之间的差异。通过对不同类别或时间点的数据进行颜色编码，你可以直观地看到各个类别或时间点之间的相似性和差异性，帮助你发现潜在的规律和趋势。
3.可视化相关性和关联程度：热力图可以用于可视化数据之间的相关性和关联程度。通过计算数据之间的相关系数（如Pearson相关系数或Spearman相关系数），将相关性值映射到颜色的强度上，你可以在热力图中直观地观察到不同变量之间的相关性，以及它们之间的强度和方向。
4.辅助决策和模式识别：热力图可以帮助你更好地理解数据，辅助决策和模式识别。通过直观的颜色编码，你可以更容易地发现数据中的关键模式、规律和异常情况，从而在分析过程中做出更准确和明智的决策。

需要注意的是，热力图并不适用于所有类型的数据。它主要适用于具有明确的类别或时间维度的数据，且数据值之间存在数值差异较大的情况。在使用热力图进行可视化分析时，还应注意选择合适的颜色映射方案，以确保不同数值之间的对比清晰可辨。

热力图在可视化分析中起到了直观展示数据分布、比较差异、显示相关性等作用，它是一种简单而强大的工具，可以帮助你洞察数据的内在特征，并支持决策和模式识别的过程。

更要注意的是，热力图展现的是线性关系，有一些特征与target是非线性关系，虽然在矩阵图表里数值低，但是去除这种特征对模型预测会产生较大影响。借助群友的话，简单来说，相关性高一定有用，而相关性低不一定没用！

 D.特征工程

根据数据探索的结果，对特征进行选择、转换和创建，以提取更有用的信息。例如，通过创建新的特征组合或进行特征变换（如对数转换）来改善模型的性能。 
接下来的要做的就是细致的特征工程，模型与特征是相辅相成的，此处我们将模型与特征工程当做一个整体进行处理。对于设计的模型我们希望它可以充分吸收数据并从数据集中自动挖掘出与我们标签相关的信息，从而能更好地对我们的测试数据进行预测，但从目前模型的发展情况来看，暂时还没有哪种模型可以自动化地对数据进行充分的挖掘，因而我们需要通过人为的方式对数据进行处理，包括特征预处理、组合特征的构建、特征的筛选等等，在模型数据处理的弱势区域对其进行帮助，从而使得我们模型可以获得更好的效果。换言之，特征工程就是在帮助模型学习，在模型学习不好的地方或者难以学习的地方，采用特征工程的方式帮助其学习，通过人为筛选、人为构建组合特征让模型原本很难学好的东西可以更加轻易的学习从而拿到更好的效果。

1.数据清洗：对原始数据进行清洗，包括处理缺失值、异常值和重复值等。上面都写了

2.特征选择：选择对目标变量有较强影响或相关性的特征，可以基于领域知识、统计方法或机器学习模型进行选择。

# 使用相关系数选择相关特征
corr_matrix = df.corr()
relevant_features = corr_matrix.index[abs(corr_matrix['target']) > threshold]
# 使用机器学习模型选择特征
model = SelectFromModel(estimator)
model.fit(X, y)
selected_features = X.columns[model.get_support()]

 3.特征编码：将非数值型特征转换为数值型特征，以便模型能够处理。

# 类别型特征编码（One-Hot Encoding）
encoded_df = pd.get_dummies(df, columns=['category'])

# 有序特征编码（Label Encoding）
from sklearn.preprocessing import LabelEncoder
encoder = LabelEncoder()
encoded_feature = encoder.fit_transform(feature)

 onehot的具体使用形如以下：

4.特征缩放：对数值型特征进行缩放，以消除不同特征之间的尺度差异。例如标准化和归一化。

5.特征生成：基于原始特征进行组合、交互等操作，生成新的特征。

# 特征组合
df['new_feature'] = df['feature1'] + df['feature2']
# 特征交互
df['interaction'] = df['feature1'] * df['feature2']

我也使用了，不过好像对模型正面影响不是很大 ：

 这些是特征工程常用的操作和代码示例。需要根据具体问题和数据特点进行选择和调整。特征工程既是一门艺术也是一门技术，在实践中需要根据经验和实验进行不断优化和改进。

2.模型交叉验证

 交叉验证（Cross-Validation）是机器学习中常用的一种模型评估方法，用于评估模型的性能和泛化能力。它的主要目的是在有限的数据集上，尽可能充分地利用数据来评估模型，避免过拟合或欠拟合，并提供对模型性能的更稳健的估计。

 交叉验证的基本思想是将原始的训练数据划分为多个子集（也称为折叠），然后将模型训练和验证进行多次循环。在每一次循环中，使用其中一个子集作为验证集，其他子集作为训练集。这样可以多次计算模型的性能指标，并取这些指标的平均值作为最终的模型性能评估结果。

# 使用了cross_val_predict函数和classification_report函数来进行模型的交叉验证和生成分类报告。

from sklearn.model_selection import cross_val_predict
from sklearn.metrics import classification_report

'''cross_val_predict函数用于执行模型的交叉验证预测，
它通过将数据集划分为多个子集，每个子集都作为验证集，
然后使用训练好的分类器对验证集进行预测。这个函数返回一个包含预测结果的数组。
pred = cross_val_predict(clf, X, y)
clf：分类器模型对象，如决策树、随机森林等。
X：特征数据，即输入数据。
y：目标数据，即分类标签。
'''
pred = cross_val_predict(
    clf,
    train_data.drop(['common_ts', 'uuid', 'target'],axis=1),
    train_data['target']
)
'''
classification_report函数用于生成分类报告，显示分类器的精确度、召回率、F1值等评估指标。
y：真实的分类标签。
pred：预测的分类结果。
digits：报告中指标的小数点位数。
'''
print(classification_report(train_data['target'], pred, digits=3))

问题

1. 请详细描述 K 折交叉验证方法。假设你有一个包含 1000 个样本的数据集，你打算使用 5 折交叉验证来评估模型性能。请列出每一折中训练集和验证集的样本数量是多少？

K折交叉验证是一种常用的模型评估方法，用于对机器学习模型的性能进行客观评估。它将数据集分为K个相等大小的子集，其中K-1个子集用于训练模型，剩下的1个子集用于测试模型。把每个子集叫成一个折，然后分别把每个折当成测试集，其余为训练集，重复至每个折都当过测试集。再计算K次评估结果的平均值，作为模型的性能指标，包括准确率、精确率、召回率、F1值等。 对于1000个样本的数据集分为5折，即每折200个样本数据，分为ABCDE，先A作为测试集，即200样本数据作为测试集，其余为训练集800样本数据。以此类推，B，C，D，E，都分别作为测试集200样本，其余800样本数据为训练集.

 
2. 当数据集不均衡（样本类别分布不平衡）时，如何调整交叉验证策略以更好地应对这种情况？

一，分层采样：划分训练集和测试集时，保证每子集中不同样本类别的比例与总样本数据的不同类别样本比例相似。

import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.utils import resample

# 假设有一个样本数据集 X 和相应的标签 y
X = np.array([[1, 2], [3, 4], [5, 6], [7, 8], [9, 10]])
y = np.array([0, 0, 1, 1, 1])

# 将数据集按类别划分为两个子集，即少数类别和多数类别
minority_class_indices = np.where(y == 0)[0] # [0 1]
majority_class_indices = np.where(y == 1)[0] # [2 3 4]

minority_samples = X[minority_class_indices]
'''
[[1 2]
 [3 4]]
'''
majority_samples = X[majority_class_indices]
'''
[[ 5  6]
 [ 7  8]
 [ 9 10]]
'''

# 使用分层采样，对多数类别进行下采样，保留同等数量的多数类别样本
resampled_majority_samples = resample(
    majority_samples,
    replace=False,  # 不放回采样
    n_samples=len(minority_samples),  # 采样数量与少数类别样本数量相同
    random_state=42  # 随机种子，确保可复现性
)

# 将少数类别样本和下采样后的多数类别样本合并
resampled_X = np.concatenate([minority_samples, resampled_majority_samples])
resampled_y = np.concatenate([np.zeros(len(minority_samples)), np.ones(len(resampled_majority_samples))])

# 打印采样后的样本及其标签
print("Resampled X:", resampled_X)
print("Resampled y:", resampled_y)

二，过采样和欠采样，对于样本数量较少的样本类别，通过过采样的方法相对增加其样本数量，达到样本平衡的效果。对于样本数量较多的样本类别，通过欠采样的方法相对减少其样本数量，达到样本平衡的效果。结合过采样和欠采样的方法，合成采样，更好地平衡样本类别分布。

import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.utils import resample

# 假设有一个样本数据集 X 和相应的标签 y
X = np.array([[1, 2], [3, 4], [5, 6], [7, 8], [9, 10], [11, 12]])
y = np.array([0, 1, 0, 1, 1, 1])

# 将数据集按类别划分为两个子集，即少数类别和多数类别
minority_class_indices = np.where(y == 0)[0]
majority_class_indices = np.where(y == 1)[0]

minority_samples = X[minority_class_indices]
majority_samples = X[majority_class_indices]

# 使用过采样，对少数类别进行上采样，保留同等数量的多数类别样本
resampled_minority_samples = resample(
    minority_samples,
    replace=True,  # 放回采样，生成更多的少数类别样本
    n_samples=len(majority_samples),  # 采样数量与多数类别样本数量相同
    random_state=42  # 随机种子，确保可复现性
)

# 使用欠采样，对多数类别进行下采样，保留同等数量的少数类别样本
resampled_majority_samples = resample(
    majority_samples,
    replace=False,  # 不放回采样
    n_samples=len(minority_samples),  # 采样数量与少数类别样本数量相同
    random_state=42  # 随机种子，确保可复现性
)

# 将上采样后的少数类别样本和下采样后的多数类别样本合并
resampled_X = np.concatenate([resampled_minority_samples, resampled_majority_samples])
resampled_y = np.concatenate([np.zeros(len(resampled_minority_samples)), np.ones(len(resampled_majority_samples))])

# 打印采样后的样本及其标签
print("Resampled X:", resampled_X)
print("Resampled y:", resampled_y)

三，通过调整类别权重来使模型更加关注少数类别的样本。像是设置权重参数，让少数类别的样本被赋予更高的权重，多数类别的样本被赋予较低的权重。

from sklearn.linear_model import LogisticRegression
from sklearn.utils import compute_class_weight

# 假设有一个样本数据集 X 和相应的标签 y
X = [[1, 2], [3, 4], [5, 6], [7, 8], [9, 10], [11, 12]]
y = [0, 0, 1, 1, 1, 1]

# 计算类别权重
class_weights = compute_class_weight('balanced', classes=[0, 1], y=y)

# 创建逻辑回归模型，并传入类别权重参数
model = LogisticRegression(class_weight={0: class_weights[0], 1: class_weights[1]})

# 拟合模型
model.fit(X, y)

 三.小总结和感悟

通过自己的查找与询问主动去学习这些知识并通过完成对于项目的方式来学习，不同于学校的课程式学习，让我的成就感与参与感也满满的。感激DataWhale夏令营第三期平台提供的机会！！！