m0_74167796的博客

原创 初始学习率设置

如果你有一个800张图像的数据集。这算是一个中等大小的数据集，对于这样的数据集，上述的经验起始值通常是合理的。较大的数据集可能允许使用更高的学习率，而较小的数据集可能需要更低的学习率以防止过拟合。：对于Adam优化器，一个常见的起始学习率是 1e−4或 1e−3，即 0.0001 或 0.001。影响初始学习率设置的因素有很多，包括但不限于数据集的复杂性、模型的规模、使用的优化器以及预期的收敛速度。：U-Net + 其他结构可能比标准的U-Net更复杂，因此可能需要更低的学习率以避免梯度消失或爆炸。