关闭

斯坦福机器学习公开课笔记(一)--单变量线性回归

标签: 线性回归机器学习单变量
4641人阅读 评论(1) 收藏 举报
分类:


公开课地址:https://class.coursera.org/ml-003/class/index 

授课老师:Andrew Ng

1、model representation(建立模型)

考虑一个问题,如果给定一些房屋售价和房屋面积的数据,现在要预测给定其他面积时的房屋售价,那该怎么办?其实这是一个线性回归问题,给定的数据作为训练样本,用其训练得到一个表示售价和面积关系的模型(其实是一个函数),然后用这个函数进行预测。基本流程如下:


2、cost function(代价函数)

ps:其实这一节中代价函数并未出现代价函数

既然我们已经明确了只需要训练得到一个函数,那我们首先要做的就是对函数的形式进行假设。这里我们可以假设是最简单的线性函数:


下面问题就转变为如何求出theta值。由于我们已经有一些训练数据,虽然不知道数据之间是不是像假设那样成线性关系,但存在一点偏差我们并不介意,只需要让函数值尽可能接近真实值即可。这里我们让x表示面积,y表示售价,在二维平面上描出一系列的点。


3、cost function intuition 1(代价函数初步1)

前面已经说明了需要让h函数值和真实值之间误差尽可能小,这里给出一个更清晰的说明:


代价函数J就代表了上面提到的误差,这里为了后面求导方便函数被写成了这种形式,我们的目标就是让代价函数J值最小,注意在Jtheta变成了变量,m代表训练样本的数目(也就是坐标系中点的个数)。

4、cost function intuition 2(代价函数初步2)

在给定一个theta0theta1时,我们能找到相应的h函数(一条线)和代价J(一个值),当把这两者放在一起对比观察时,就能清楚的看到代价值在h函数和样本点拟合的很好时是最小的,而且存在全局唯一的最小值。代价函数J用三维表示大概就如下图所示:




从上图可以看出,此时h函数与样本点拟合的情况最好,而代价函数J也取到了最小值,theta0theta1此时的取值可以从J的横纵坐标上看出。

5、gradient descent(梯度下降)

为了让J最小,我们的想法是通过改变theta的取值来改变J的取值。这里对theta的初始值不做要求,只考虑改变时的变化。梯度下降在这里的意思也就是沿着J函数的梯度方向改变thetaJ取值减小,形象化的表示如下:


如果懂一点微积分知识,我们就可以把这个下降过程用数学式子像下面这样表达出来:


其中alpha是学习率(大于0),可以理解为每一次下降的步长,需要人为设定。

6、gradient descent intuition(梯度下降初步)

我们可以对上面梯度下降的公式进行一下简单的验证,如下图,当theta值过大时,梯度为正值,每一次迭代theta减小,J值也减小,同理theta值过小时,迭代让theta增大,J值也减小。所以梯度下降的思想是正确的。


相比之下,alpha的选择就不那么简单了,alpha选择要求适中,过大过小都不好:


如上图所说的,alpha取值太小步长太小,要走很多步才能下降到最小值,处理速度太慢。当alpha取值较大时,步长太大,会在最小值左右发生震荡,而永远也达不到最小值。不过,即使alpha取值适中,我们也可能会陷入到局部最小值,达不到全局最小。


补充一点,即使alpha值固定了,在梯度下降的过程中步长也会自动逐渐减小,所以我们不需要在函数逼近最小值的时候减小alpha的取值,以防止步长过大可能会跳过最低点。

7、gradient descent for linear regression(针对线性回归的梯度下降)

针对线性回归,由于我们已经有了代价函数J的形式,只需要代入即可:


写的更好看一点就是这样:


通过迭代,我们就能到达一个J的最小值,这里并不保证是全局最小。



--------------------------------------------弱弱的分割线--------------------------------------------------------------

以上就是第一讲单变量线性回归的内容,思想还是很明确的。首先根据训练数据定义出模型函数形式,通过与真实值求误差得到代价函数,然后通过对代价函数梯度下降确定出模型函数的参数。确定好参数,下面就可以拿这个模型进行预测了,不过由于这里是线性的,变量只有一个,不是很准。自然下面就该引入多变量,非线性的情况了,那个肯定要复杂一些。

0
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

Coursera公开课笔记: 斯坦福大学机器学习第二课“单变量线性回归(Linear regression with one variable)”

Coursera公开课笔记: 斯坦福大学机器学习第二课“单变量线性回归(Linear regression with one variable)” 发表于 2012年05月6号 由 52nl...
  • GarfieldEr007
  • GarfieldEr007
  • 2015-11-16 12:35
  • 1508

Machine Learning(Stanford)| 斯坦福大学机器学习笔记--第一周(5.线性回归的梯度下降)

本博客内容来自Coursera上Andrew Ng老师的机器学习课程的。其实一开始在上课的时候我就在本子上做过一遍笔记,这次在博客上再做一遍是对课程的复习巩固,加深印象。--这篇博客的主要内容是介绍了...
  • m399498400
  • m399498400
  • 2016-09-13 19:41
  • 1524

Coursera公开课笔记: 斯坦福大学机器学习第一课“引言(Introduction)”

Coursera公开课笔记: 斯坦福大学机器学习第一课“引言(Introduction)” 注:这是我在“我爱公开课”上做的学习笔记,会在52opencourse和这里同步更新。随着Courser...
  • GarfieldEr007
  • GarfieldEr007
  • 2015-11-16 12:33
  • 1231

Coursera公开课笔记: 斯坦福大学机器学习第二课“单变量线性回归(Linear regression with one variable)”

斯坦福大学机器学习第二课"单变量线性回归“学习笔记,本次课程主要包括7部分: 1) Model representation(模型表示) 2) Cost function(代价函数,成本函数) ...
  • wangrunjie1986
  • wangrunjie1986
  • 2013-02-04 10:48
  • 1208

斯坦福机器学习公开课笔记(二)--多变量线性回归

公开课地址:https://class.coursera.org/ml-003/class/index  授课老师:Andrew Ng 1、multiple features(多特征) 在第一次...
  • jj12345jj198999
  • jj12345jj198999
  • 2013-05-24 17:23
  • 3062

Coursera公开课笔记: 斯坦福大学机器学习第四课“多变量线性回归(Linear Regression with Multiple Variables)”

斯坦福大学机器学习第四课"多变量线性回归“学习笔记,本次课程主要包括7部分: 1) Multiple features(多维特征) 2) Gradient descent for multiple...
  • wangrunjie1986
  • wangrunjie1986
  • 2013-02-04 10:51
  • 983

斯坦福大学机器学习第二课 “单变量线性回归”

斯坦福大学机器学习第二课“单变量线性回归(Linear regression with one variable)” 发表于 2012年05月6号 由 52nlp 斯坦福大学机器学习第二课”单变...
  • u011584941
  • u011584941
  • 2015-04-09 15:55
  • 878

机器学习-斯坦福大学-Lecture2-单变量线性回归

机器学习-斯坦福大学-Lecture2-单变量线性回归 机器学习-斯坦福大学-Lecture2-单变量线性回归 1模型表示 2-24代价函数 5-26梯度下降算法 7梯度下降的线性回归2.1模型表示 ...
  • Nightmare_hy
  • Nightmare_hy
  • 2017-01-17 13:05
  • 306

【斯坦福大学-机器学习】2.单变量线性回归(一)

Author:kevinelstri DateTime:2017/3/151、模型选择(线性回归算法)案例:       预测住房价格 说明:       这就是一个回归问...
  • kevinelstri
  • kevinelstri
  • 2017-03-15 13:46
  • 305

斯坦福机器学习实验之1-单变量线性回归(Linear Regression with One Variable)

1.数据图形化(Plotting the Data)在进行任务之前,将数据可视化对我们理解数据很有用。 1)载入数据 函数: load;lengthdata = load('ex1data1.tx...
  • u010837794
  • u010837794
  • 2017-05-15 20:00
  • 447
    个人资料
    • 访问:2067239次
    • 积分:36923
    • 等级:
    • 排名:第132名
    • 原创:1495篇
    • 转载:121篇
    • 译文:19篇
    • 评论:952条
    最新评论