梯度下降法作为一种最优化算法,通常也称最速下降法,这种算法算得上机器学习里面求解各式model的神器,理解并灵活应用对model的求解具有重要意义
首先介绍一下梯度的概念
1. 二元函数梯度定义 设
在区域
内具有一阶连续导数,点,则向量
称为
直白理解就是:求一个函数F(K)最小值所满足的参数K,我们用梯度下降法计算时,参数K按照梯度的方向(导数)不断迭代。
总结:
梯度学习作为一种求解最优参数的迭代算法,其可以广泛应用于机器学习各式model参数的求解中。在机器学习中,我们定义model的误差函数,求解model参数可以转化为求解误差函数最小值所满足的参数,这样即可以把model的求解转化为梯度下降法的求解。后面,我将详细描述梯度下降法在各式机器学习model中的应用。
这篇文章转自Closure 原文地址:https://closure.blog.ustc.edu.cn/?p=19