深度网络中的的权重初始化与正则化（初始化与激活函数搭配问题）

最新推荐文章于 2023-02-18 07:54:15 发布

AI剑客

最新推荐文章于 2023-02-18 07:54:15 发布

阅读量2.4k

点赞数 3

分类专栏： keras AI tensorflow

本文链接：https://blog.csdn.net/qq_43258953/article/details/105756719

版权

本文探讨了深度学习模型中权重初始化和正则化的重要性，包括kernel_initializer、bias_initializer的选择，如RandomNormal、he_normal等。强调了正则化方法如L1、L2正则化在减少过拟合中的作用。同时，指出在与ReLU激活函数配合时，he_normal初始化通常更优；而对于tanH激活函数，Xavier initialization是更好的选择。

摘要由CSDN通过智能技术生成

一，kernel_initializer&bias_initializer：
建网络层时内核或者偏差权重的初始化方案。此参数是名称或可调用对象。

二，kernel_regularizer&bias_regularizer:
设置应用于网络层中内核或者偏差权重的正则化方案，例如L1或L2正则化。默认情况下，不应用正则化。

三，初始化及正则化的作用
在设计深度学习模型的时候，我们经常需要使用正则化（Regularization）技巧来减少模型的过拟合效果，例如 L1 正则化、L2 正则化等。合理的初始化可以加速收敛。

四，正则化
在Keras中，我们可以使用三种正则化技巧：
keras.regularizers.l1
keras.regularizers.l2
keras.regularizers.l1_l2

例子L2正则化

w_l2 = 1e-4
out_pam = Conv2D(nc, kernel_size=3, kernel_regularizer=regularizers.l2(w_l2),  
                      kernel_initializer=conv_init, use_bias=False