学习笔记之梯度下降算法

梯度下降(Gradient Descent, GD)是目前机器学习、深度学习解决最优化问题的算法中，最核心、应用最广的方法。它不是一个机器学习算法，而是一种基于搜索的最优化方法。其作用是用来对原始模型的损失函数进行优化，以便寻找到最优的参数，使得损失函数的值最小。也就是，用已知训练集数据寻找最优得参数，从而找到最优得拟合模型。哪什么是梯度下降呢？

一、概念

梯度是向量，和参数维度一样。简单地来说，多元函数的导数(derivative)就是梯度(gradient)，分别对每个变量进行微分，然后用逗号分割开，梯度是用括号包括起来，说明梯度其实是一个向量。比如说线性回归损失函数L的梯度为：$▽f=(\frac{\partial L}{\partial a},\frac{\partial L}{\partial b})$。

二、计算过程

1、步骤：

①、对各参数向量求偏导，得出