在本章节中,Andrew Ng老师 主要讲述了单变量的线性回归模型
他首先介绍模型中的一些基本概念,譬如:训练集(对于每一个数据,它具有明确的结果)、X (输入变量)、Y(输入或目标变量)、
(x,y)(代表一个训练实例)、(X^i , Y^i)(代表第 i 次的观察值)、
h(代表学习算法的解决方法或函数)
接下来课程介绍了成本函数(Cost Function)
其中h表示成 (图一)
, 其中θ0,θ1表示为参数
接下来介绍了误差平方和的公式:(图二)
这个公式用于统计在特定θ0,θ1的情况下,训练集中得到的预测值与真实值之间的误差大小,J 表示总误差,m表示训练集中实例数目。
当θ0,θ1改变时,J的值也会改变,所以以上公式可以表示成J(θ0,θ1)这样一个函数,而我们的目的就是找出使J值最小的θ0,θ1。
如何求最小的θ0,θ1?
课上,老师先求了一种特殊情况(θ0=0),在这种情况下,J函数只和θ1有关,那么其图像将会一个抛物线的形式下
明显的此时当θ1=1时,J的值最小。而这是一种特殊情况 ,那如何求一般情况下的θ0,θ1?
利用Matalab可以得到以下的关于J的函数,在特定训练集下
(图三)
如何寻找最小的θ0,θ1,这里介绍了一种梯度下降的方法。这种方法中会一直循环计算以下的
公式:
(
图四)
其中表示为求J函数分别关于θ0,θ1的偏导数,α表示为学习比例
这个公式的实际含义如下:
(
图五)
他需要同时改变θ0,θ1的值,如果将2,3 式子位置互换,那么可以看到原来第2个式子中的θ0已经先改变了。
那么利用这种方法,如何求了特殊例子下的θ1的值?
(
图六)
每循环一次θ1的值都越来越靠近使得min(J)的θ1的值,
那么一般情况下了?下篇文章会讲述。