现有的比较有名的初始化方法有,axivr初始化和kaiming初始化。
初始化一般会赋予一组权重一个有规律的数组,帮助模型快速的收敛,使得需要加入权重的某部分功能可以更好的投入使用当中,一般来说初始化是比较重要的,有时候不加初始化可能都收敛不了。
但是有时候则不需要初始化
摘自:https://blog.csdn.net/Only_ZeRo_IT/article/details/115918689
有时候不初始化,是被用于在一开始训练的时候不影响模型本身。
这时候就需要注意的是,当我们的权重因子是模型主要流程的一部分的时候,我们必须初始化,不然会影响整个模型的训练,当我们的权重因子是模型流程的附属部分时,比如残差模块的加入,这时候我们可以用0初始化来进行。
当然,其实有时候加入权重因子也不是最佳选择,不是加入权重因子精度就能高,这个要看数据集的情况,有时候数据集内多尺度的情况严重的时候,加入权重因子可能会导致模型整体朝向大目标去进行,这反而不利于精度的提高。
***所以 分情况讨论是最重要的***