MLP进行MNIST分类调参技巧总结

《模式识别》课程实验考试，要求自主选择分类方法，使用20000个手写数字样本训练区分10个类别的分类器，并预测20000个测试样本的标签。与一般的MNIST手写数字识别不同，本实验给定的数据是老师经过PCA降维后的数据，五组数据特征维数分别为81-85。

因此基本断绝了直接使用CNN的念想，实验中主要使用MLP，并使用了一些调参（炼丹）技巧，最终准确率达到98.03%，在此总结记录！

主要方法：对数据集进行4:1的训练集+验证集和测试集拆分，使用五层MLP神经网络，在训练集+验证集数据上进行5折交叉验证，最终5个模型投票给出测试集上的结果。

固定随机种子

为了保证调参过程中的控制变量，避免数据拆分不同时的引入的随机影响，在最开始需要固定随机种子，包括 random/numpy/pytorch ，代码如下

seed = 99
torch.manual_seed(seed)
torch.cuda.manual_seed_all(seed)
np.random.seed(seed)
random.seed(seed)

MLP神经网络调参

• 参数初始化

  • Uniform 均匀分布初始化

    w = np.random.uniform(low=-scale, high=scale, size=[n_in, n_out])
    

  • Xavier 初始化，适用于 tanh sigmoid 激活函数

• 数据预处理

  • 训练集和测试集统一使用训练集的方差、均值进行归一化

  X -= np.mean(X, axis=0)
  X /= np.std(X, axis=0)
  

• 优化器

  • SGD 效果好于 Adam

  • 设置 momentum 和 weight_decay，后者对于过拟合问题效果不是很明显

  • 如果N个epoch内，正确率不变则降低学习率

    optimizer = torch.optim.SGD(model.parameters(),
                                lr=0.1,
                                momentum=0.75,
                                weight_decay=3e-4)
    
    def adjust_learning_rate(opt, num_adjust):
      """Sets the learning rate to the initial LR decayed by 10 every 30 epochs"""
      lr = 0.1 * (0.1**num_adjust)
      for param_group in opt.param_groups:
        param_group['lr'] = lr
    

• dropout，0.5 上下浮动设置

• 激活函数，使用 ReLU 效果好于 Sigmoid 和 Tanh

• Batch Normalization，效果有明显提升

• MLP网络层最佳顺序 Linear -> Batch Norm -> Activation -> Droput -> Linear

nn.Sequential(nn.Linear(84, 1024), nn.BatchNorm1d(1024),
                                 nn.ReLU(), nn.Dropout(0.5),
                                 nn.Linear(1024, 512), nn.BatchNorm1d(512),
                                 nn.ReLU(), nn.Dropout(0.5),
                                 nn.Linear(512, 256), nn.BatchNorm1d(256),
                                 nn.ReLU(), nn.Dropout(0.5),
                                 nn.Linear(256, 128), nn.BatchNorm1d(128),
                                 nn.ReLU(), nn.Dropout(0.5),
                                 nn.Linear(128, 10), nn.LogSoftmax(dim=1))

数据集划分及K折交叉验证

主要步骤

• 使用 sklearn train_test_split 进行基本数据集切分，训练集+验证集:测试集大约4:1
• 使用 sklearn KFold 进行5折交叉验证，分别保存开发集上的最优模型
• 最后使用得到的5个模型在测试集上进行预测投票给出最终标签

注意点

• 调参过程中测试集不应太小，否则偏差较大；过程中可以多划分一些进行调参，最终模型可以不用测试集，用所有数据进行交叉验证

• 关于交叉验证中 K 的选择，一般K=5或10，极端情况下可使用留一法（即每次使用一个样本进行验证）；根据先前的相关研究，取值情况可参考公式（其中n是样本数，d是特征维数）
  $$\begin{gathered} K\approx \log (n) \\ n/K>3d \end{gathered}$$

  本次实验中取K=10时效果不佳，最终取K等于5

  log(20000) = 5

  20000/5 = 4000 > 3*84

写在后面

总的来说，本次实验准备比较匆忙，仅花了一晚上来调参，很多地方并没有时间进行完备而科学的测试，最终结果倒是差强人意，貌似组内第1、2的样子，但比预期还是稍低一些。理论上如果能进行更细致科学的调参，还是有很大进步空间的。

参考链接

• 「交叉验证」到底如何选择K值？

• 深度学习调参有哪些技巧？

• 你有哪些deep learning（rnn、cnn）调参的经验？

• 主要神经网络layer的合理排布顺序

• Ordering of batch normalization and dropout?

• sklearn.model_selection.KFold