一、dropout丢弃法
1、动机
一个好的模型需要对输入数据的扰动鲁棒
丢弃法:在层之间加入噪音——正则
2、方法
给定一个概率,一定概率变成0,一定概率使得元素变大
期望不发生变化
3、使用
4、总结
丢弃法将一些输出项随机置0来控制模型复杂度
常作用在多层感知机的隐藏层输出上
丢弃概率来控制模型复杂度的超参数
一、dropout丢弃法
1、动机
一个好的模型需要对输入数据的扰动鲁棒
丢弃法:在层之间加入噪音——正则
2、方法
给定一个概率,一定概率变成0,一定概率使得元素变大
期望不发生变化
3、使用
4、总结
丢弃法将一些输出项随机置0来控制模型复杂度
常作用在多层感知机的隐藏层输出上
丢弃概率来控制模型复杂度的超参数