【机器学习】之梯度的探究

前言

训练模型时我们会用到一个【损失函数】，它存在的作用是判定当前训练参数是否合格，损失值越小，说明模型拟合度好。
那么如何知道损失值已经达到最小了呢？

我们需要明确的一点：损失函数的本质是一个函数，求函数极限值的方法想必各位已在《高等数学》的修读中学会了，本文会对一些基本概念进行简单回顾——导数、偏导数、方向导数和梯度，步步深入。

先由一个思考引入

把函数曲面的某个局部，想象成前面图中的雪山，如果想速降（以最快的速度下山），那么直觉上的最佳路径就是沿着雪山最陡峭的方向下山。
再打个比方，考虑有两个自变量的二次函数C(v1, v2)，在三维视图中，它是一个曲面。假设有个小球靠自身重力滚落到曲面的底部，可以想象其路径也是沿着最陡峭的方向的。

这个“最陡峭的方向”就是我们此次探求的目标——梯度！
那么梯度的概念是怎么来的呢？这涉及到一些微积分的知识。

目录

为了由浅入深，本篇分为以下几个部分，由源头阐述梯度的概念和意义。

1. 一元函数的导数
2. 多元函数和偏导数
3. 方向导数
4. 梯度

一、一元函数的导数

一元函数