深度学习
文章平均质量分 92
深度学习
伤如之何?
生命不熄于漫漫长夜,似路灯,似灯塔。虽孤独,但足以让其浸没自身,充实心灵。
展开
-
梯度消失/梯度爆炸
或坡度有时会变得非常大,或者非常小,甚至于以指数方式变小,这加大了训练的难度。梯度消失或梯度爆炸:训练神经网络的时候,略小于 1,激活函数将以指数级递减。略大于 1,激活函数将爆炸式增长。相关的导数或梯度函数。原创 2024-04-21 22:15:22 · 823 阅读 · 0 评论 -
Xavier 初始化
的分布中抽样得到的,而这个分布的方差可以通过输入和输出的维度来估计。高斯分布的均值为零,这意味着在初始化权重时,期望值为零,也就是在基本预测函数的基础上加上了额外的偏差。层权重的梯度与激活函数的斜率成正比)出现的概率相等,从而可以避免引入偏斜。它假设每个神经元的输入和输出是从一个。高斯分布是对称的,这意味着权重的。若即考虑正向传播,也考虑到反向传播。初始化通过保持输入和输出之间的。,就会引入一个初始的偏差(记为。那么某一个神经元输出也就是。若只考虑正向传播,那么。,且只有一个输出层。原创 2024-04-21 21:45:36 · 861 阅读 · 0 评论