机器学习一些概念

1、导数
导数，也叫作导函数值。

假定我们现在手头有一个函数 F(x) = 2x。当 x=1 的时候，函数值 F(x)=F(2)=2*1。然后我们给 x 增加一个非常小的变化（增量）Δx，那么F(x+Δx)=2(x+Δx)，这意味着函数的结果也有了一个增量，记为Δy。

当函数值增量Δy 与变量增量Δx 的比值在Δx 趋近于 0 时，如果极限 a 存在，我们就称 a 为函数 F(x)在 x 处的导数。

这里有两个需要注意的地方，第一个是Δx 一定要趋近于 0，第二个是极限 a 要存在。
2、偏导数
在实际应用中，很多函数都有多个变量。为了方便分析不同变量与函数的关系，为单个变量求导是很有必要的。这个时候，我们需要让其他变量不变，只有某一个变量发生变化，这种情况下的求导我们称之为“偏导数”。公式如下：

刚才说过，导数就是函数在某个点上的斜率。如果我们把坐标系从二维变成三维，甚至更多维时，偏导数就不难理解了：它实际上是函数在不同方向（坐标轴）上的变化率。就好比爬山，任意一个位置，都会有东西方向和南北方向的坡度（斜率）。
3、梯度
在机器学习中，梯度是一个出现频率极高的词语，模型的设计、训练、优化等过程中，梯度都是一个核心概念。函数的所有偏导数构成的向量就叫作梯度。我们用∇f 表示，公式化的形式为：

一定要注意，梯度是一个向量。同时，梯度向量的方向即为函数值增长最快的方向。