机器学习中解析解和数值解的区别

当建立一个模型并得到损失函数时，如果损失函数形式比较简单，误差最小化问题的解可以直接用公式表达出来，例如直接对参数进行求导，这类解叫做解析解。

然而大多数深度学习模型并没有解析解，只能通过优化算法（例如批量梯度下降算法等）有限次迭代模型参数来尽可能降低损失函数的值，这类解叫做数值解。