机器学习中的梯度下降法

14人阅读 评论(0) 收藏 举报
分类:

机器学习中的大部分问题都是优化问题,而绝大部分优化问题都可以使用梯度下降法(Gradient Descent)处理,那么搞懂什么是梯度,什么是梯度下降法就非常重要。
提到梯度,就必须从导数(derivative)、偏导数(partial derivative)和方向导数(directional derivative)讲起,弄清楚这些概念,才能够正确理解为什么在优化问题中使用梯度下降法来优化目标函数,并熟练掌握梯度下降法(Gradient Descent)。

一、导数

1-1.jpg

定义:
当函数y=f(x)的自变量x在一点x0上产生一个增量Δx时,函数输出值的增量Δy与自变量增量Δx的比值在Δx趋于0时的极限a如果存在,a即为在x0处的导数,记作f’(x0)或df(x0)/dx。

1-2.png

二、偏导数

定义:

2.png

可以看到,导数与偏导数本质是一致的,都是当自变量的变化量趋于0时,函数值的变化量与自变量变化量比值的极限。

三、方向导数

定义:

3.png

在前面导数和偏导数的定义中,均是沿坐标轴讨论函数的变化率。那么当我们讨论函数沿任意方向的变化率时,也就引出了方向导数的定义,即:某一点在某一趋近方向上的导数值

四、梯度

定义:

4.png

梯度的提出只为回答一个问题:
函数在变量空间的某一点处,沿着哪一个方向有最大的变化率?

函数在某一点的梯度是这样一个向量,它的方向与取得最大方向导数的方向一致,而它的模为方向导数的最大值。

这里注意三点:
1)梯度是一个向量,即有方向有大小;
2)梯度的方向是最大方向导数的方向;
3)梯度的值是最大方向导数的值。

五、梯度下降法

既然在变量空间的某一点处,函数沿梯度方向具有最大的变化率,那么在优化目标函数的时候,自然是沿着负梯度方向去减小函数值,以此达到我们的优化目标。

如何沿着负梯度方向减小函数值呢?既然梯度是偏导数的集合,那么我们在每个变量轴上减小对应变量值即可。
梯度下降法可以描述如下:

5.png

以上就是梯度下降法的由来,大部分的机器学习任务,都可以利用Gradient Descent来进行优化。

参考资料

1. 《高等数学》第五版,高等教育出版社
2. https://blog.csdn.net/walilk/article/details/50978864#reply


算法竞赛QQ交流群:648202993
更多内容请关注微信公众号
wechat_public.jpg

查看评论

机器学习中常见问题_几种梯度下降法

随机梯度下降 批梯度下降 minibatch
  • u010402786
  • u010402786
  • 2016-04-19 14:09:23
  • 11250

机器学习入门和批量梯度下降法

机器学习入门斯坦福大学Andrew Ng教授公开课: http://openclassroom.stanford.edu/MainFolder/CoursePage.php?course=Machi...
  • ferriswym
  • ferriswym
  • 2017-03-07 10:15:23
  • 855

机器学习入门系列04,Gradient Descent(梯度下降法)

什么是梯度下降法?学习速率的引入;如何调整学习速率;Adagrad算法介绍;用泰勒展开式对梯度下降法进行数学理论支持...
  • zyq522376829
  • zyq522376829
  • 2017-03-27 00:35:45
  • 8608

机器学习中的常见问题——几种梯度下降法

一、梯度下降法在机器学习算法中,对于很多监督学习模型,需要对原始的模型构建损失函数ll,接下来便是通过优化算法对损失函数ll进行优化,以便寻找到最优的参数θ\theta 。在求解机器学习参数θ\the...
  • google19890102
  • google19890102
  • 2015-09-27 14:55:43
  • 6129

机器学习算法入门之(一) 梯度下降法实现线性回归

文章的背景取自An Introduction to Gradient Descent and Linear Regression,本文想在该文章的基础上,完整地描述线性回归算法。部分数据和图片取自该文...
  • Titan0427
  • Titan0427
  • 2015-12-24 12:32:13
  • 55232

[机器学习] ML重要概念:梯度(Gradient)与梯度下降法(Gradient Descent)

本文介绍机器学习中重要的概念:梯度和梯度下降法,这是我们在学习MachineLearning算法时的核心概念之一,其实也就是我们在大学本科高等数学中的基础概念。...
  • walilk
  • walilk
  • 2016-03-25 13:34:35
  • 23063

机器学习笔记一二 - 线性规划 梯度下降 正规方程

第1-2个视频的笔记如下,主要的内容包括线性规划、最小二乘法,求解最小二乘法的梯度下降算法与正规方程组算法。 这里的公式一定要自己亲自证明一遍,这样才能...
  • qq_25867649
  • qq_25867649
  • 2017-09-28 10:11:11
  • 264

机器学习通俗入门-使用梯度下降法解决最简单的线性回归问题

动机一直以来,使用机器学习的算法都是用他人写好的类库,总觉得云里雾里的,弄不清楚到底怎么回事。今天实现了一个最简单的线性回归分析,觉得收货很大。纸上得来终觉浅,绝知此事要躬行。回归分析数据假设有一组数...
  • TaiJi1985
  • TaiJi1985
  • 2017-06-04 13:16:24
  • 1036

机器学习--监督学习之梯度下降法

最近在看stanford 吴恩达老师的机器学习课程,附上网易公开课的地址http://open.163.com/special/opencourse/machinelearning.html 突然心血...
  • zkyzq
  • zkyzq
  • 2017-06-09 10:29:18
  • 508

【机器学习】梯度下降算法分析与简述

梯度下降算法分析与简述梯度下降(gradient descent)是一种最优化算法,基于爬山法的搜索策略,其原理简单易懂,广泛应用于机器学习和各种神经网络模型中。在吴恩达的神经网络课程中,梯度下降算法...
  • u013106893
  • u013106893
  • 2017-04-05 14:38:14
  • 785
    个人资料
    持之以恒
    等级:
    访问量: 169万+
    积分: 1万+
    排名: 835
    我的微信公众号
      翡翠森林
    最新评论