关于LeftNotEasy《机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)》中的公式问题

原创 2016年08月29日 11:17:50

前两天学习回归算法时看到LeftNotEasy的文章,该文写得很好,部分是对Andrew Ng在CS229上第二节课中讲解的回归算法进行总结,但是其中的公式存在一些表述方面的小问题,在此我提一下我的拙见。

部分假设与原文中一样,方便理解。

假设估计函数为:

 

式 1

损失函数为:


式 2

对基本的梯度下降思想就不进行讲解了,如果有兴趣,可以去查看LeftNotEasy的文章。原文中对θ求偏导的结果如下:


式 3

看评论发现许多人和我一样对中间式子的求和符号的消失以及下标问题表示有点迷惑,因此我想在此用更为通俗易懂的式子描述一下,仅供参考。

首先,我们从错误函数开始,明确原式中m的含义,m代表的是训练数据的条数;而其中有一个没有展示出的n,表示数据特征数,也就是维度(x0,x1,...,xn)。

这里简单地推导下:

根据我们的估计函数,n=2(x0=1),再假设有3条训练数据(有点少=_=),则m=3,所以:


式 4

先不去理解式3中对θ求偏导中θ的意义,我们来对θj求偏导,反正最后需要的也是这个。

       下面这个过程就相当简单了,求导后均可提出xj:


式 5

所以:


式 6

j为0到n之间的整数,当j=0时,x0=1。

版权声明:本文为博主原创文章,未经博主允许不得转载。

机器学习中“批量梯度下降”公式推导

之前在看批量梯度下降的时候,看到代价函数J(w)的求导过程中,一直搞不明白它是怎么推导出来的,今天终于把它推导出来了。...
  • weixin_37688445
  • weixin_37688445
  • 2017年03月03日 22:32
  • 671

随机梯度下降(Stochastic gradient descent)和 批量梯度下降(Batch gradient descent )的公式对比、实现对比

梯度下降(GD)是最小化风险函数、损失函数的一种常用方法,随机梯度下降和批量梯度下降是两种迭代求解思路,下面从公式和实现的角度对两者进行分析,如有哪个方面写的不对,希望网友纠正。 下面的h(...
  • lilyth_lilyth
  • lilyth_lilyth
  • 2013年05月25日 21:21
  • 144612

机器学习之梯度下降法数学推导--回归

前言    本来对数学没什么感觉的,但是停摆了一年复习考研,于是开始对数学有些感觉了,之前看到《机器学习实战》中第五章中梯度上升法,使用了一个它所谓的十分简单的推导,一直好奇怎么个简单法,于是重新学习...
  • wlmnzf
  • wlmnzf
  • 2017年06月06日 00:38
  • 1489

简述动量Momentum梯度下降

梯度下降是机器学习中用来使模型逼近真实分布的最小偏差的优化方法。 在普通的随机梯度下降和批梯度下降当中,参数的更新是按照如下公式进行的:W = W - αdW b = b - αdb其中α是学习率...
  • yinruiyang94
  • yinruiyang94
  • 2017年09月12日 13:53
  • 2169

机器学习中的梯度下降的本质理解

梯度下降法是机器学习中最常用的优化算法,尤其是在深度学习中,还有很多基于梯度下降的变形算法如 Momentum,RMSProp和 Adam 等。...
  • KyrieChin
  • KyrieChin
  • 2017年08月16日 12:12
  • 112

【机器学习】梯度下降算法分析与简述

梯度下降算法分析与简述梯度下降(gradient descent)是一种最优化算法,基于爬山法的搜索策略,其原理简单易懂,广泛应用于机器学习和各种神经网络模型中。在吴恩达的神经网络课程中,梯度下降算法...
  • u013106893
  • u013106893
  • 2017年04月05日 14:38
  • 586

机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)

版权声明:    本文由LeftNotEasy所有,发布于http://leftnoteasy.cnblogs.com。如果转载,请注明出处,在未经作者同意下将本文用于商业用途,将追究其法律责任...
  • guixunlong
  • guixunlong
  • 2013年08月26日 18:08
  • 574

[机器学习] ML重要概念:梯度(Gradient)与梯度下降法(Gradient Descent)

本文介绍机器学习中重要的概念:梯度和梯度下降法,这是我们在学习MachineLearning算法时的核心概念之一,其实也就是我们在大学本科高等数学中的基础概念。...
  • walilk
  • walilk
  • 2016年03月25日 13:34
  • 15652

关于梯度下降算法的理解

最近在看斯坦福大学的机器学习公开课,看了第二节课,看完就已经迷糊了,都没怎么看懂,然后我搜了一下那节课讲的内容,发现原来讲的是线性回归,梯度下降还有正规方程组三个概念。 这里我讲一下梯度下降的理解。 ...
  • liang23333
  • liang23333
  • 2017年01月17日 09:35
  • 243

机器学习入门(5)--梯度下降算法

 申明:此文章内容来自于 Doctor AndrewNG的视频,经过编辑而成 问题提出:虽然给定一个假设函数,我们能够根据cost function知道这个假设函数拟合的好不好,但是毕竟函...
  • hutao1101175783
  • hutao1101175783
  • 2016年12月15日 20:08
  • 254
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:关于LeftNotEasy《机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)》中的公式问题
举报原因:
原因补充:

(最多只允许输入30个字)