pytorch学习笔记（9）

什么是超参数

        搭建神经网络中，需要我们自己选择（不是通过梯度下降算法去优化）的那些参数。比如中间层的神经元个数、学习速率

---

如何提高网络拟合能力

        1.增加层

        2.增加神经元的个数

        单纯的增加神经元个数对于网络性能的提高并不明显，增加层会大大提高网络的拟合能力，这也是为什么现在深度学习的层越来越深的原因。

        注意：单层的神经元个数，不能太小，太小的话，会造成信息瓶颈，使得模型欠拟合

---

  参数选择原则：

        1.首先开发一个过拟合的模型：

        （1）添加更多的层

        （2）让每一层变得更大

        （3）训练更多的轮次             

        2.然后，抑制过拟合

        （1）dropout

        （2）正则化

        （3）图像增强

        3.再次，调节超参数

        学习速率，隐藏层单元数，训练轮次

---