深度学习进阶(三)--BackPropagation算法的影响因素(补充昨天的博客更新)

总结一下昨天的学习过程

学习了解了影响神经网络中的一些参数:

1,层数以及每层神经元的个数(感觉层数越多BackPropagation算法效果越不怎么好)

2,权重以及偏向的初始化方法,比如说均值为1的正态分布,或者除以示例平方的正太分布或者除以2n的开根号的正态分布

3,目标cost函数的设置,二次cost函数以及log形式的函数公式

4,正规化(Regularization)的技术解决过拟合overfitting问题,参数 R

5,函数的选择,比如sigmoid或者tanh或者softmax

6,使用训练集的大小以及随机采样的大小

7,学习率的设置

这些只是简单的学习了解,更深层次的理解剖析还有待理解吸收消化

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值