学习随笔
文章平均质量分 87
Fogjio
Vanilla的贴身门卫陈大爷
展开
-
网络权重初始化方法
如何开始一个网络训练,参数初始化方法。了解就行不是很重要。初始化方法initialization Methods如何开始一个训练?参数初始化是怎么进行的?1.Gaussian N(0,1)将CNN网络的所有参数都初始化为均值为0,标准差为1且符合高斯分布的方法,这种方法是十分naive的。同样的方法还有:初始化为0;所有神经元梯度相同,参数最终相同初始化均值为0,方差为1,且控制量纲 * 0.001;只适合浅层网络,随着网络层的传递,方差会减小,维持不住学习需要的信息量,出现数据塌缩2.X原创 2020-06-10 15:11:10 · 551 阅读 · 0 评论 -
梯度优化算法在机器学习中的应用
##以下为最优化算法课程作业##从广义上来说,机器学习是一种能够赋予机器学习的能力以此让它完成直接编程无法完成的功能的方法。相比于人类的学习相差不大,例如小孩子在识别猫和狗的时候,父母指着动物或动物的图片,告诉小孩动物的特点并给予结果,例如:尖耳朵短鼻子等特征传递给小孩,并告知结果,小孩在自己分辨动物的时候会根据自己的经验去判断,得出结果,这就是学习与训练的基本定义。于是从实践的意义上来说,机器...原创 2018-11-18 21:40:15 · 1023 阅读 · 0 评论