网络优化与超参数优化选择

网络优化与超参数优化选择

一、网络容量

可以认为与网络中的可训练参数（如权值、偏置等）成正比，网络中的神经单元数越多，层数越多，神经网络的拟合能力越强。但是训练速度、难度越来越大，和越来越大容易产生过拟合。

---

二、如何选择超参数

超参数，其实就是搭建神经网络中，需要我们自己去选择（不是通过梯度下降算法去优化）的那些参数。
比如，全连接层的神经元个数、学习速率等值。

---

三、如何提高网络的拟合能力

超参数，其实就是搭建神经网络中，需要我们自己去选择（不是通过梯度下降算法去优化）的那些参数。
比如，全连接层的神经元个数、学习速率等值。

1.想法增大网络容量：

①.增加层数
②.增加隐藏层神经元个数

缺点：

单纯的增加神经元个数对于网络性能的提高并不明显，增加层会大大提高网络的拟合能力

注意：

单层的神经元个数，不能太小，太小的话，会造成信息瓶颈，使得模型欠拟合

---

四、参数选择原则

理想的模型是刚好在欠拟合和过拟合的界线上，也就是正好拟合数据。

选择原则

1.首先开发一个过拟合的模型：

①.添加更多的层
②.让每一层变得更大
③.训练更多的轮次
④.添加更多的层

2.然后抑制过拟合：

①.使用dropout随机失活
②.数据进行正则化
③.进行图像增强

3.再次调节超参数：

①.调节学习速率
②.调节隐藏层单元数
③.调节训练轮次

---

总结

超参数的选择是一个经验与不断测试的结果。经典机器学习的方法，如特征工程、增加训练数据也要做交叉验证。