前言
梯度下降(Gradient Descent,GD)算法主要分为三种:批量梯度下降(Batch Gradient Descent,BGD)算法、随机梯度下降(Stochastic Gradient Descent,SGD)算法、和小批量梯度下降(Mini Batch Gradient Descent,MBGD)算法。
(理解梯度下降算法之前先弄懂方向导数、偏导数、偏导函数、全导数、梯度)
参考链接:https://blog.csdn.net/m0_37957160/article/details/113678344?spm=1001.2014.3001.5501
1、什么是梯度?
梯度是一个向量,其方向是函数在点P变化最快的方向,其大小是函数在点p处的最大增长率。
2、梯度下降(Gradient Descent,GD)
从四个方面一步步的去展开GD算法,1线性回归、2损失函数、3梯度、4梯度下降算法。
1线性回归
线性回归之前的博客已经讲过,此