三、AI学习笔记|神经网络调试

1、常调节的超参数

  • 学习率

  • 动量梯度下降中的 k

  • 每层的神经元个数 n

  • 子训练集 mini-batch 的大小

  • 神经网络层数 L

  • 学习率控制衰减超参数 decayRate

2、调节方法

网格搜索法:效率很低,不推荐使用

随机搜索法:在合理的取值范围之内,随机选取一些点。可以尝试更多不同的超参数值,先寻找到大概适合的值,将参数确定在该

点的周围区域,然后进行更精密的搜索

3、采样标尺

随机搜索可以叫做随机采样,或者随机均匀采样。

假如取值范围是 0.0001 - 1

线性标尺:

指数标尺:

比如:

调节神经网络层数或者神经元的个数可以采用线性标尺

调节学习率应该使用指数标尺

4、调参技巧的通用性和超参数的过时性

通用性:某个领域内的调参技巧有可能同样适用于其他领域

过时性:数据量的增多、硬件的改变等有可能使得已经训练好的最优超参数不再是最优的。

5、归一化隐藏层

优点:

有助于梯度下降更快的寻找到最小值

使得隐藏层的 z = wx +b 中的 z 更加稳定,提高学习效率

具有一点正则化的味道

6、Softmax

二分类经常使用sigmod激活函数,多分类则使用Softmax激活函数


softmax会先利用输出层的 z 向量生成一个临时向量 t,然后用 t 生成 a

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值