R7：糖尿病预测模型优化探索

• 🍨 本文为🔗365天深度学习训练营 中的学习记录博客
• 🍖 原作者：K同学啊

一、实验目的

探索本案例是否还有进一步优化的空间

二、实验环境

• 语言环境：python 3.8
• 编译器：Jupyter notebook
• 深度学习环境：Pytorch
  • torch==2.4.0+cu124
  • torchvision==0.19.0+cu124

三、数据集标准化处理

对比R6的代码，本案例的改进部分主要是取消了两行代码的注释# 数据集标准化处理

from sklearn.preprocessing import StandardScaler   

# '高密度脂蛋白胆固醇'字段与糖尿病负相关，故而在 X 中去掉该字段   
X = DataFrame.drop(['是否糖尿病','高密度脂蛋白胆固醇'],axis=1)   
y = DataFrame['是否糖尿病']   

# 数据集标准化处理   
sc_X    = StandardScaler()   
X = sc_X.fit_transform(X)   

X = torch.tensor(np.array(X), dtype=torch.float32)   
y = torch.tensor(np.array(y), dtype=torch.int64)   

train_X, test_X, train_y, test_y = train_test_split(X, y,
                                                    test_size=0.2,   
                                                    random_state=1)   
train_X.shape, train_y.shape   

代码输出结果如下：

对比R6的结果可以看到测试集准确率有了明显的提高，而原因我也有在上一次总结中提及。结果差异大的可能原因分析如下：

数据处理差异

1. 特征选择不同
   • 在R6中，除了删除'高密度脂蛋白胆固醇'和'是否糖尿病'，还删除了'卡号'。这意味着R6代码使用的特征集比R7少了一个额外的特征。不同的特征集会对模型的学习和预测能力产生影响。'卡号'这个特征本身包含了一些与糖尿病相关的潜在信息（不同卡号对应的人群有不同的糖尿病发病倾向等），那么去掉它会改变模型的行为。
2. 标准化处理的有无
   • R7代码对数据进行了标准化处理（sc_X.fit_transform(X)），而R6没有。标准化可以使数据的特征具有相似的尺度，这对于一些基于距离或梯度的算法（如神经网络中的梯度下降）非常重要。如果数据没有标准化，可能会导致某些特征在模型训练过程中对损失函数的影响过大或过小，从而影响模型的收敛速度和性能。例如，在神经网络中，如果某个特征的值域很大，而另一个特征的值域很小，那么在计算梯度时，可能会使模型过度关注值域大的特征，而忽略值域小的特征。

模型训练相关因素

1. 初始条件差异
   • 模型的初始参数（如神经网络的权重初始化）可能会因为数据的不同而导致不同的训练轨迹。不同的数据分布（由于数据处理的不同）可能会使模型在相同的初始化策略下朝着不同的方向优化。
2. 训练动态变化
   • 由于数据的改变，模型在训练过程中的梯度更新情况也会不同。R6代码中没有标准化的数据可能会导致梯度在某些方向上变化剧烈，影响模型收敛。而在R7中，标准化后的数据可能使梯度更新更加稳定和合理，导致训练和测试准确率的变化趋势不同。而且，不同的数据特征可能在不同的训练阶段对模型的贡献不同，进而影响模型在每个 epoch 的准确率和损失值。

四、总结

标准化处理对模型训练的具体影响：

1. 加快收敛速度

   • 原理：在未进行标准化处理时，不同特征的取值范围可能差异巨大。例如，一个特征的取值范围是0 - 1，另一个特征的取值范围是0 - 1000。在基于梯度下降的优化算法中，如随机梯度下降（SGD），损失函数的梯度更新会受到特征尺度的影响。对于取值范围大的特征，其梯度更新步长可能会过大，导致模型难以收敛到最优解；而对于取值范围小的特征，其梯度更新步长可能过小，模型学习这些特征的速度会很慢。标准化将数据变换到均值为0、标准差为1的分布，使得不同特征具有相似的尺度。这样，在梯度更新时，各个特征能够以相对平衡的步长进行学习，从而加快模型收敛速度。
   • 示例：假设我们有一个简单的线性回归模型$y=w_1$