1、为什么初始化向量后 神经网络loss无法下降
通常为了计算的优化等缘故,维度一般取2的指数。
全连接层后续计算loss,总共类别应该会有上千类,所以之前的layer最好也是1000这种规模,所以一般取1024,2048,4096等。
通过在数据集上进行测试,可以跑出来一个结果比较好的网络结构
谷歌人工智能写作项目:小发猫
2、BP神经网络损失函数居高不下
1、模型结构和特征工程存在问题神经网络loss没有下降原因。
2、权重初始化方案有问题。
3、正则化过度。
4、选择合适的激活函数、损失函数。
5、选择合适的优化器和学习速率。
6、训练时间不足,模型训练遇到瓶颈。
3、怎么选取训练神经网络时的Batch size?
选取训练神经网络时先选好batch size,再调其他的超参数。并且实践上来说,就两个原则——batch size别太小,也别太大,其他