本文探讨了神经网络训练中遇到的问题，包括loss无法下降的原因，如维度选择、模型结构、权重初始化、正则化和优化器设置。此外，还分析了batch size选择对训练的影响，以及loss收敛和准确率突然下降的可能因素，提醒注意训练时的个人状态和情绪对结果的潜在影响。
1、为什么初始化向量后 神经网络loss无法下降
通常为了计算的优化等缘故，维度一般取2的指数。
全连接层后续计算loss，总共类别应该会有上千类，所以之前的layer最好也是1000这种规模，所以一般取1024,2048,4096等。
通过在数据集上进行测试，可以跑出来一个结果比较好的网络结构
谷歌人工智能写作项目：小发猫
2、BP神经网络损失函数居高不下
1、模型结构和特征工程存在问题神经网络loss没有下降原因。
2、权重初始化方案有问题。
3、正则化过度。
4、选择合适的激活函数、损失函数。
5、选择合适的优化器和学习速率。
6、训练时间不足，模型训练遇到瓶颈。
3、怎么选取训练神经网络时的Batch size？
选取训练神经网络时先选好batch size，再调其他的超参数。并且实践上来说，就两个原则——batch size别太小，也别太大，其他
最低0.47元/天 解锁文章
5万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
