关注
分享
傻傻杰
感谢每个给我评论的人，我会尽量完善我的博客并回复
展开
-
深度学习的多种初始化方法
深度学习的初始化很重要，若初始化值过低，会导致梯度消失，神经网络过早收敛，提前到达极小值。若初始化值过高，会导致梯度爆炸，网络会在极小值位置震荡。权重初始化过程中，主要保证以下准则：在每一层激活后，输入数据的均值为 0，在每一层激活后，输入的方差不变。已知梯度前向传播：（1） a∣l−1∣=g∣l−1∣(z∣l−1∣)a^{|l-1|} = g^{|l-1|}(z^{|l-1|})...转载 2019-08-22 20:55:35 · 2263 阅读 · 0 评论 -
python基础知识篇
python 基础q1: python深浅拷贝。直接赋值：其实就是对象的引用（别名）。浅拷贝(copy)：拷贝父对象，不会拷贝对象的内部的子对象。深拷贝(deepcopy)： copy 模块的 deepcopy 方法，完全拷贝了父对象及其子对象个人理解：若直接赋值则只是拷贝地址。若浅拷贝则只复制list， dict的地址，int， string类型则会开辟新空间赋值。若深拷贝则是递归...转载 2019-08-21 00:25:00 · 119 阅读 · 0 评论 -
理解多种normalization的意义
normaliztion 的部分理解normaliztion是一个线性的操作，其目标是将非标准正态分布的数据数据，转换成为标准的正态分布(这个操作又称为白化)，并且添加scale加上shift操作(y=scale*x+shift)， 这样将(0 , 1)标准正态分布的输入数据转换成为稍微偏离(0, 1)标准正态分布的数据输入，可以保证输入数据基本维持正态状态，且输入非线性。normalizti...原创 2019-08-21 22:50:14 · 1834 阅读 · 0 评论