对梯度概念的直观理解

[转]
在机器学习中，我们通常需要对问题进行建模，然后可以得到一个成本函数(cost function)，通过对这个成本函数进行最小化，我们可以得到我们所需要的参数，从而得到具体的模型。这些优化问题中，只有少部分可以得到解析解(如最小二乘法)，而大部分这类优化问题只能迭代求解，而迭代求解中两种最常用的方法即梯度下降法与牛顿法。为了使用这两种方法，我们需要计算成本函数的梯度与海森矩阵，这篇文章简要说明了如何使用 python 的符号计算库 sympy 来计算特定函数的梯度与海森矩阵，求解机器学习中的最优化问题。

文章链接：https://blog.csdn.net/u013282174/article/details/79714588