Machine Learning 参数初始化相关问题

版权声明:欢迎转载,请注明出处噢,谢谢 https://blog.csdn.net/DT2131/article/details/82705463

1.参数需要初始化吗?

为什么神经网络在考虑梯度下降的时候,网络参数的初始值不能设定为全0,而是要采用随机初始化思想? - 王赟 Maigo的回答 - 知乎

https://www.zhihu.com/question/36068411/answer/65751656

2.c++11下利用 <random> 文件提供的工具进行初始化

#include <bits/stdc++.h>
#include <random>
using namespace std;

int main()
{
	srand((unsigned)time(NULL));            //随机化随机种子
	default_random_engine e(rand());        //利用随机种子,初始化随机引擎的种子
	normal_distribution<double> normal(0,10);        //设定正态分布的均值和方差
	for (int i = 0; i < 1000; i++) printf("%d:%f\n", i,normal(e));    //产生1000个结果
}

若需要限定结果的大小范围,可以通过改变方差的数值,也可同时取一定上下界内的结果,达到目的

例:

需要的结果  $-5\leq res\leq 5$ ,那么根据正态分布的原理 简单设定均值为 0,方差为 1.5,$ (P\left \{ \left | X - \mu \right | < 3\delta \right \} = 2 \phi (3) - 1 = 0.9974 )$,并同时舍弃不在区间 [-5,5] res 即可

展开阅读全文

没有更多推荐了,返回首页