Machine Learning 参数初始化相关问题

1.参数需要初始化吗?

为什么神经网络在考虑梯度下降的时候,网络参数的初始值不能设定为全0,而是要采用随机初始化思想? - 王赟 Maigo的回答 - 知乎

https://www.zhihu.com/question/36068411/answer/65751656

2.c++11下利用 <random> 文件提供的工具进行初始化

#include <bits/stdc++.h>
#include <random>
using namespace std;

int main()
{
	srand((unsigned)time(NULL));            //随机化随机种子
	default_random_engine e(rand());        //利用随机种子,初始化随机引擎的种子
	normal_distribution<double> normal(0,10);        //设定正态分布的均值和方差
	for (int i = 0; i < 1000; i++) printf("%d:%f\n", i,normal(e));    //产生1000个结果
}

若需要限定结果的大小范围,可以通过改变方差的数值,也可同时取一定上下界内的结果,达到目的

例:

需要的结果  $-5\leq res\leq 5$ ,那么根据正态分布的原理 简单设定均值为 0,方差为 1.5,$ (P\left \{ \left | X - \mu \right | < 3\delta \right \} = 2 \phi (3) - 1 = 0.9974 )$,并同时舍弃不在区间 [-5,5] res 即可

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值