常见激活函数
- Sigmoid
用 Sigmoid 函数来逼近 Hard Sigmoid,从而用一系列Hard Sigmoid函数去表示复杂的关系
- ReLU
分组后使用梯度下降
- 批量(batch)
- update:更新一次参数
- 回合(epoch):将所有的batch都使用过一次算作一个回合
eg:1000个数据,batch size设为 100,1个回合总共更新10次参数
增加深度
将激活函数本身作为自变量从而增加深度
过拟合
在训练数据中表现优异但在测试数据中出现了失真
用 Sigmoid 函数来逼近 Hard Sigmoid,从而用一系列Hard Sigmoid函数去表示复杂的关系
eg:1000个数据,batch size设为 100,1个回合总共更新10次参数
将激活函数本身作为自变量从而增加深度
在训练数据中表现优异但在测试数据中出现了失真