1) Model representation(模型表示)
回到第一课中的房屋价格预测问题, 首先它是一个有监督学习的问题(对于每个样本的输入,都有正确的输出或者答案),同时它也是一个回归问题(预测一个实值输出)。
训练集表示如下:
![traing-set-52opencourse.com](http://52opencourse.com/?qa=blob&qa_blobid=484206880651220945)
其中:
m = 训练样本的数目
x's = “输入”变量,也称之为特征
y's = “输出”变量,也称之为“目标”变量
对于房价预测问题,学习过程可用下图表示:
![model-represation-52opencourse.com](http://52opencourse.com/?qa=blob&qa_blobid=17111122787753216973)
其中x代表房屋的大小,y代表预测的价格,h(hypothesis)将输入变量 x 映射到输出变量 y,如何表示h?
事实上Hypothesis可以表示成如下形式:
hθ(x)=θ0+θ1x
简写为 h(x),也就是带一个变量的线性回归或者单变量线性回归问题。
2) Cost function(代价函数,成本函数)
对于Hypothesis:
hθ(x)=θ0+θ1x
θi
为参数
如何求
θi
?
![theta-cost function-52opencourse.com](http://52opencourse.com/?qa=blob&qa_blobid=6540099477212750642)
构想: 对于训练集(x, y),选取参数
θ0
,
θ1
使得
hθ(x)
尽可能的接近y。
如何做呢?一种做法就是求训练集的平方误差函数(squared error function),Cost Function可表示为:
J(θ0,θ1)=12m∑i=1m(hθ(x(i))−y(i))2
并且选取合适的参数使其最小化,数学表示如下:
minimizeθ0,θ1J(θ0,θ1)
3) Cost function intuition I(直观解释1)
直观来看,线性回归主要包括如下四大部分,分别是Hypothesis, Parameters, Cost Function, Goal:
![costfunction-I-52opencourse.com](http://52opencourse.com/?qa=blob&qa_blobid=4054888681910087627)
这里作者给出了一个简化版的Cost function解释,也就是令
θ0
为0:
![](http://52opencourse.com/?qa=blob&qa_blobid=5452571119435540646)
然后令
θ1
分别取1、0.5、-0.5等值,同步对比
hθ(x)
和
J(θ0,θ1)
在二维坐标系中的变化情况,具体可参考原PPT中的对比图,很直观。
4) Cost function intuition II(直观解释2)
回顾线性回归的四个部分,这一次不在对Cost Function做简化处理,这个时候
J(θ0,θ1)
的图形是一个三维图或者一个等高线图,具体可参考原课件。
可以发现,当
hθ(x)
的直线越来越接近样本点时,
J(θ0,θ1)
在等高线的图中的点越来越接近最小值的位置。