2 多层感知机原理、模型选择、过拟合

多层感知机是在单层神经网络的基础上，添加了一个到多个隐藏层

对于单隐藏层神经网络，H为隐藏层的输出，O为输出层的输出

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-r6LrBGVN-1629280510820)(https://i.loli.net/2021/08/05/5j4JO6ad9NSeYyK.png)]

将这两个式子联立起来

无论是隐藏层有多少，其与单层神经网络等价。

激活函数

激活函数包括sigmoid，Relu,tanh。目的是使隐藏层引入非线性变换，使隐藏层变量通过非线性函数的变换后作为下一个连接层的输入。这个非线性函数为激活函数

模型选择

过拟合表现在泛化误差远大于训练误差

欠拟合是训练误差高

使用训练数据和测试数据以外的数据作为验证集，可以用来选择模型。

如果选择的模型过于复杂，训练的数据过少，容易导致过拟合

如果选择的模型过于简单，无法解决高阶的问题，容易欠拟合

为了解决数据过少的问题，可以采用k折交叉验证，将训练数据分成k份，做k次训练和验证，每一次选择一份作验证集，其余k-1份作为训练集。