2021年9月中旬,百度NLP岗位面试题分享(一)


问题1:神经网络有哪些初始化的方法、为什么要初始化

不初始化可能会减慢收敛速度,影响收敛效果。

如果使用的是预训练模型,是不需要自己进行初始化的,只有没有预训练模型的时候需要初始化。

常用的权重初始化算法是「kaiming_normal」或者「xavier_normal」。

以下n_in为网络的输入大小,n_out为网络的输出大小,n为n_in或(n_in + n_out) * 0.5

- uniform均匀分布初始化:
在这里插入图片描述
- Xavier初始法,适用于普通激活函数(tanh,sigmoid):
在这里插入图片描述
- He初始化,适用于ReLU:
在这里插入图片描述

  • normal高斯分布初始化,其中stdev为高斯分布的标准差,均值设为0:
    在这里插入图片描述
  • Xavier初始法&#
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值