关于LeftNotEasy《机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)》中的公式问题

原创 2016年08月29日 11:17:50

前两天学习回归算法时看到LeftNotEasy的文章,该文写得很好,部分是对Andrew Ng在CS229上第二节课中讲解的回归算法进行总结,但是其中的公式存在一些表述方面的小问题,在此我提一下我的拙见。

部分假设与原文中一样,方便理解。

假设估计函数为:

 

式 1

损失函数为:


式 2

对基本的梯度下降思想就不进行讲解了,如果有兴趣,可以去查看LeftNotEasy的文章。原文中对θ求偏导的结果如下:


式 3

看评论发现许多人和我一样对中间式子的求和符号的消失以及下标问题表示有点迷惑,因此我想在此用更为通俗易懂的式子描述一下,仅供参考。

首先,我们从错误函数开始,明确原式中m的含义,m代表的是训练数据的条数;而其中有一个没有展示出的n,表示数据特征数,也就是维度(x0,x1,...,xn)。

这里简单地推导下:

根据我们的估计函数,n=2(x0=1),再假设有3条训练数据(有点少=_=),则m=3,所以:


式 4

先不去理解式3中对θ求偏导中θ的意义,我们来对θj求偏导,反正最后需要的也是这个。

       下面这个过程就相当简单了,求导后均可提出xj:


式 5

所以:


式 6

j为0到n之间的整数,当j=0时,x0=1。

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

梯度下降法的数学推导

第一次接触梯度下降法是从Andrew Ng的机器学习课程上,当时看到这个公式有点疑惑,为什么这样迭代几次最后就能收敛到局部极值呢? 其中,α称为学习率,是一个能自己设定的常数,通常很小,下面还会讲到...

翻页操作测试用例

该用例库主要针对翻页操作   1.当数据量很大的时候,需要进行分页显示,每页显示的行数最好不要超过20行,每页列表上最好有序号标识,行与行之间颜色要有一定区分,这样有利于用户的查找   2...

分页导航测试用例

     今天整理了一份“列表页面--分页导航”测试用例,有待完善,希望大家多多指教O(∩_∩)O~ 子用例编号子用例描述前置条件操作优先级别预期结果实际结果FYDH-001检查导航显示元素列表页数大...
  • yezi33
  • yezi33
  • 2010年12月23日 15:55
  • 1208

机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)

本文由LeftNotEasy所有,发布于http://leftnoteasy.cnblogs.com。如果转载,请注明出处,在未经作者同意下将本文用于商业用途,将追究其法律责任。 前言:    上次写...

转-机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)

文章转自http://www.cnblogs.com/LeftNotEasy/archive/2010/12/05/mathmatic_in_machine_learning_1_regression...

机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)

版权声明:    本文由LeftNotEasy所有,发布于http://leftnoteasy.cnblogs.com。如果转载,请注明出处,在未经作者同意下将本文用于商业用途,将追究其法律责任。 ...
  • dcraw
  • dcraw
  • 2011年10月06日 11:29
  • 4309

机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)

本文转载自http://www.cnblogs.com/LeftNotEasy/archive/2010/12/05/mathmatic_in_machine_learning_1_regressio...

斯坦福机器学习视频笔记 Week1 线性回归和梯度下降 Linear Regression and Gradient Descent

斯坦福机器学习视频笔记 Week1 Linear Regression and Gradient Descent

机器学习 线性回归(regression)、梯度下降(gradient descent)

看了一半左右的stanford的machine learning公开课视频,做了一下练习题,重新搜了一下matlab的语法, 看了附带的讲义,终于在Octave下实现了梯度下降法的线性回归 . ...

机器学习(一)回归(regression)、梯度下降(gradient descent)

转载于: http://blog.csdn.net/studyopencv_xinxin/article/details/68068823
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:关于LeftNotEasy《机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)》中的公式问题
举报原因:
原因补充:

(最多只允许输入30个字)