训练网络---train loss从一开始就不变

训练网络—train loss、test loss,accuracy从一开始就不变

在训练NTSNet的时候，使用了vgg_16bn的baseline，将其设置为unpretrained的时候，发现vgg文件使用了默认的kaiming初始化。
但遇到这样一个问题：把此时的vgg_16bn的参数全部打印处理，它有很多层的w权重为接近0的特别小的数，导致数据变化的程度不足以影响得到的结果。

**train loss不变的情况，一般是因为前馈网络中的有些地方的参数 很大或者很小，致数据变化的程度不足以影响得到的结果。**明确前馈网络哪个地方出现这个情况，特别是对源代码进行改动的地方。

• 在这里可以看到，假设对于一个样本的train，w太小，z小，a接近0，每一次都是这样。损失函数基本不变，梯度更新小。
• 对于2分类问题，训练集有9924张照片，每一次a接近0，会把所有的样本预测为同一类，导致accuracy为1个定值。

最后，不得不说，鼎文大佬就是NB！！！！！！！！！！