本文介绍了深度学习中提高模型性能的两种关键技巧：正则化和权重初始化。详细讲解了L1和L2正则化的概念及其在模型中的应用，以及dropout技术的工作原理。同时，探讨了权重初始化的重要性，特别是针对ReLU和tanh激活函数的Xavier和He初始化方法。这些策略有助于避免过拟合，提高训练速度，并优化模型的泛化能力。
1.正则化方法
1.1 几种常用的正则化方法
L1正则化：
L2正则化：
From:
(1) J = − 1 m ∑ i = 1 m ( y ( i ) log ( a [ L ] ( i ) ) + ( 1 − y ( i ) ) log ( 1 − a [ L ] ( i ) ) ) J = -\frac{1}{m} \sum\limits_{i = 1}^{m} \large{(}\small y^{(i)}\log\left(a^{[L](i)}\right) + (1-y^{(i)})\log\left(1- a^{[L](i)}\right) \large{)} \tag{1} J=−m1i=1∑m(y(i)log(a[L](i))+(1−y(i))log(1−a[L](i)
最低0.47元/天 解锁文章
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
