AndrewNG机器学习听课笔记(1 )——线性回归(linear regression)

原创 2012年11月15日 11:00:27

Andrew NG机器学习听课笔记(1

                                                  ——线性回归(linear regression

听课的时候只是觉得这老师讲课听起来真舒服,等差不多的时候,实验室一小子说这货就是大名鼎鼎的coursera的创始人之一NG先生,此时此刻,在自责我自己有眼无珠的同时也暗暗的庆幸,能搜到这样的公开课实属万幸。。

线性回归是一种监督学习的方法,本节主要讲了最小二乘法以及梯度下降法。

为了以后的笔记方便,首先规定下符号的意义:

m :训练集的容量(即训练样本的个数)

n :样本的维数

:参数,也叫回归系数

训练样本

: i =1…m:第i个样本

j=1…n样本的第j

:回归方程

:给定对应的值,也叫target,目标

以后的所有符号都遵从这个记法。

线性回归问题可以简单的描述为给定m个训练样本以及与之对应的target,求得回归方程,使得能够对一个新的样本对应的target 做出相应的预测。

首先定义一个衡量预测的标准:

我们可以用偏差平方和:来表示,当然这个表示方法不唯一,不同的表示方法可能会导致不同的结果,我们会在以后慢慢讨论。

这样的话我们就有了目标:

这样,线性回归问题就转化为一个优化问题了。怎么使上式取得最小呢?本节课主要介绍了三种方法:

第一种是 梯度下降法(gradient descent

首先从一个初始值开始,重复以下步骤

     

直到最后的收敛条件。

下面我们求,首先我们针对只有一个样本的情况:



从而上述的更新算法 

这是针对一个样本的情况,当有多个样本(m)时更新算法就变成了


上式就是随机梯度下降法最终的更新准则。其中是一个自己设定的参数,叫做学习率,由它控制着梯度下降的速度。

 

通过上面的描述不难发现一个严重的问题:当样本容量非常大的时候,每更新一个都要把所有的样本跑一遍,这样浪费了大量的时间和空间复杂度,同时当样本足够大的时候,算法是不可行的。

 

为此提出了一个类似于梯度下降法的优化方法:随机梯度下降法:

算法如下:

For j = 1:m


(对所有的i)


repeat

 

 

另外对于最小二乘,大家都知道的一个方法:

  



,从而,对关于求导并让导数等于0,最终就得到了,从而,这是一个非迭代的算法,算是一个解析解吧。

 

下面讨论针对有不同的表示方法:

下面给出minkowski距离的一个通式:

上式中q取不同的值,会导致我们最终的迭代收敛的位置:q=1时,算法收敛于中值,当q=2时,算法收敛于均值,当q=0时,算法收敛于众数。

 

最终还有一个关于收敛终止条件的,有两种方法,第一种是前后两次更新的的差小于某个阈值。但更常用的是前后两次更新后的值的变化。

AndrewNG机器学习听课笔记(1 )——线性回归(linear regression)

Andrew NG机器学习听课笔记(1)                                                  ——线性回归(linear regression) 听课...
  • tiandijun
  • tiandijun
  • 2014年03月19日 20:28
  • 978

Stanford公开课机器学习---week2-1.多变量线性回归 (Linear Regression with multiple variable)

3.多变量线性回归 (Linear Regression with multiple variable)3.1 多维特征(Multiple Features) n 代表特征的数量 x(i)x^{(i)...
  • muzilanlan
  • muzilanlan
  • 2015年05月27日 12:39
  • 1376

Coursera公开课笔记: 斯坦福大学机器学习第四课“多变量线性回归(Linear Regression with Multiple Variables)”

来自:http://www.52nlp.cn/coursera%E5%85%AC%E5%BC%80%E8%AF%BE%E7%AC%94%E8%AE%B0-%E6%96%AF%E5%9D%A6%E7%A...
  • fennvde007
  • fennvde007
  • 2014年07月08日 19:22
  • 1023

机器学习之线性回归(Linear Regression)

线性学习中最基础的回归之一,下面从线性回归的数学假设,公式推导,模型算法以及实际代码运行几方面对这一回归进行全面的剖析~...
  • July_sun
  • July_sun
  • 2016年11月18日 21:53
  • 6231

Coursera公开课笔记: 斯坦福大学机器学习第二课“单变量线性回归(Linear regression with one variable)”

Coursera公开课笔记: 斯坦福大学机器学习第二课“单变量线性回归(Linear regression with one variable)” 发表于 2012年05月6号 由 52nl...
  • GarfieldEr007
  • GarfieldEr007
  • 2015年11月16日 12:35
  • 1618

机器学习方法:回归(一):线性回归Linear regression

欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld。开一个机器学习方法科普系列:做基础回顾之用,学而时习之;也拿出来与大家分享。数学水平有限,只求易懂,学习与工作...
  • xbinworld
  • xbinworld
  • 2015年03月19日 22:18
  • 33750

ufldl学习笔记与编程作业:Linear Regression(线性回归)

ufldl学习笔记与编程作业:Linear Regression(线性回归) ufldl出了新教程,感觉比之前的好,从基础讲起,系统清晰,又有编程实践。在deep learning高质量群里面听一些前...
  • linger2012liu
  • linger2012liu
  • 2014年08月04日 23:43
  • 4828

Andrew Ng 机器学习(2.1)--线性回归--原理

线性回归这个问题可能算是机器学习总最简单的一个问题了,线性回归特别是...
  • YouMengJiuZhuiBa
  • YouMengJiuZhuiBa
  • 2014年06月11日 20:07
  • 799

线性回归(Linear regression)及其相关问题

前言: True regression functions are never linear!
  • qq_26837565
  • qq_26837565
  • 2015年03月24日 17:18
  • 2494

线性回归例子(Linear Regression Example)

原文地址: http://sklearn.lzjqsdd.com/auto_examples/linear_model/plot_ols.html#example-linear-model-plot...
  • hongxue8888
  • hongxue8888
  • 2017年06月10日 20:39
  • 820
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:AndrewNG机器学习听课笔记(1 )——线性回归(linear regression)
举报原因:
原因补充:

(最多只允许输入30个字)