机器学习：梯度下降算法（Gradient Descent）

梯度下降算法（Gradient Descent）

泰勒公式

在高数中学过的泰勒公式告诉我们，我们始终可以找到一个级数表达式，去拟合任意随机样本结果。

梯度

• 梯度：数学概念，在一维函数中等同于一维函数的导数，在多维函数中即为多维函数的偏导数。
• 梯度的意义：某一点的梯度向量指示了函数变化率最大的一个方向

梯度下降

• 梯度下降——迭代思想
  在构建求解表达式的过程，从某个参量表达式出发出求偏导，找出当前位置梯度下降最大的方向，和结果进行拟合，计算函数的梯度，找到下一参量组，如此循环往复，直至找到最优解。

• 梯度下降的概念

（1）步长（Learning rate /学习率）：自定义量，是指参量表达式沿着梯度方向的步进量（每次沿梯度方向走多少距离）。过大可能会错过最优解，过小可能会卡在局部最优解。
（2）特征（Feature）：已知的期待获得的输入输出数据指标，用于假设函数的构建。
（3）假设函数（Hypothesis Function）：为了拟合特征而构建的数学表达式，梯度下降就是用于不断修正该表达式，得到最优的假设函数。
（4）损失函数（Loss Function）࿱