权重初始化的意义与需要注意的点

现有的比较有名的初始化方法有，axivr初始化和kaiming初始化。
初始化一般会赋予一组权重一个有规律的数组，帮助模型快速的收敛，使得需要加入权重的某部分功能可以更好的投入使用当中，一般来说初始化是比较重要的，有时候不加初始化可能都收敛不了。

但是有时候则不需要初始化

摘自：https://blog.csdn.net/Only_ZeRo_IT/article/details/115918689

有时候不初始化，是被用于在一开始训练的时候不影响模型本身。

这时候就需要注意的是，当我们的权重因子是模型主要流程的一部分的时候，我们必须初始化，不然会影响整个模型的训练，当我们的权重因子是模型流程的附属部分时，比如残差模块的加入，这时候我们可以用0初始化来进行。

当然，其实有时候加入权重因子也不是最佳选择，不是加入权重因子精度就能高，这个要看数据集的情况，有时候数据集内多尺度的情况严重的时候，加入权重因子可能会导致模型整体朝向大目标去进行，这反而不利于精度的提高。

								***所以 分情况讨论是最重要的***