输入权重和偏置的范围问题?

本文探讨了在深度学习中,输入权重和偏置的范围选择对模型性能的重要影响。研究表明,固定在[-1,1]的范围并不总是最优,不同数据集可能需要不同的范围。建议采用网格搜索或随机搜索来确定最优参数。同时,隐层神经元的数量也与权重和偏置范围有关,不是越多越好。论文还提到了激活函数类型对性能的贡献,指出Sigmoid并非总是最佳选择。" 111550905,10296736,Python实现RSA非对称加密详解,"['Python编程', '加密算法', 'RSA加密', '信息安全']
摘要由CSDN通过智能技术生成

对于张的单输入单输出的非线性函数,用黄的程序,隐层神经元的个数并没有太大的影响,而输入权重和偏置的范围有很大的影响。
隐层神经元数50
InputWeight=rand(NumberofHiddenNeurons,NumberofInputNeurons);
BiasofHiddenNeurons=rand(NumberofHiddenNeurons,1);
在这里插入图片描述

InputWeight=rand(NumberofHiddenNeurons,NumberofInputNeurons)*2-1;
BiasofHiddenNeurons=rand(NumberofHiddenNeurons,1)*2-1;
在这里插入图片描述
InputWeight=rand(NumberofHiddenNeurons,NumberofInputNeurons)*30-10;
BiasofHiddenNeurons=rand(NumberofHiddenNeurons,1)*10-5;
在这里插入图片描述
输入权重和偏置的范围的多少对结果影响很大。
1、那么到底应该怎么选择输入权重和偏置的范围呢?
看了很多论文中全是[-1,1],或者随机给的。
张的非线性函数,我把范围给的大了才行了,是不是

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我来了嗷嗷嗷

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值