神经网络训练准确率下降,神经网络训练不收敛

1、为什么初始化向量后 神经网络loss无法下降

通常为了计算的优化等缘故，维度一般取2的指数。
全连接层后续计算loss，总共类别应该会有上千类，所以之前的layer最好也是1000这种规模，所以一般取1024,2048,4096等。
通过在数据集上进行测试，可以跑出来一个结果比较好的网络结构

谷歌人工智能写作项目：小发猫

2、神经网络训练一定次数后准确率突然下降怎么回事？

经网络训练时准确度突然变得急剧下降，很有可能是你的休息不够睡眠不足导致注意力不集中，近段时间的心情也很影响训练时的准确度，心情烦躁准确度也就会下降神经网络训练损失稳定不下降。

3、神经网络训练时准确度突然变得急剧下降，为啥?

可能是因为太激进，设置太高的学习率，也可能是因为设置的参数的问题。

4、神经网络中损失函数一般降到多少就可以了

关键不是损失函数降到多少