1.丢弃法(dropout)
随机设置某些节点的输出置为0,总输出不再依赖于这些神经元。使用丢弃法不会改变隐层节点的期望。
训练过程中因为每个节点都可能被丢弃,所以输出不会过分依赖于某些节点,防止过拟合。
测试过程中为得到确切的输出结果不会丢弃。
2.正则化
L1或L2范数
1.丢弃法(dropout)
随机设置某些节点的输出置为0,总输出不再依赖于这些神经元。使用丢弃法不会改变隐层节点的期望。
训练过程中因为每个节点都可能被丢弃,所以输出不会过分依赖于某些节点,防止过拟合。
测试过程中为得到确切的输出结果不会丢弃。
2.正则化
L1或L2范数