机器学习 线性回归(regression)、梯度下降(gradient descent)

看了一半左右的stanford的machine learning公开课视频，做了一下练习题，重新搜了一下matlab的语法，

看了附带的讲义，终于在Octave下实现了梯度下降法的线性回归 .

线性回归假设特征和目标值满足线性关系。//y=ax+b 例如：房间的面积和房间价格成正比。

其实线性关系的表达能力非常强大，每个特征对结果的影响强弱可以由权重参数体现，而且每个特征变量可以先转换到一个与目标成线性关系的变量，然后再参与线性计算。这样就可以表达特征与结果之间的非线性关系。 // 例如：房间面积s在低于50平米和超过100平米之后对价格的影响会减弱，那可以用sigmoid函数映射到 s*=1/(1+e^(-((x-50)/10))

     我们用x1，x2...xn 去描述feature里面的分量，比如x1=房间的面积，x2=房间的朝向，等等，我们可以做出一个估计函数：

     

     θ在这儿称为参数，在这的意思是调整feature中每个分量的影响力，就是到底是房屋的面积更重要还是房屋的地段更重要。如果我们令x0 = 1，就可以用向量的方式来表示了：

     

     我们程序也需要一个机制去评估我们θ是否比较好，所以说需要对我们做出的h函数进行评估，一般这个函数称为损失函数（loss function）或者错误函数(error function)，描述h函数不好的程度，在下面，我们称这个函数为J函数

     一般可以定义损失函数如下：

     

     xi，yi都是已知的观察数据，J是关于要计算的theta的函数

下图是J在不同的θ0和θ1值下的函数图（xi，yi为已知特定的数据集）：

 这个错误估计函数是去对这个错误估计函数是去对x(i)的估计值与真实值y(i)差的平方和作为错误估计函数，前面乘上的1/2是为了在求导的时候更规整，求导后系数为1。

     至于为何选择平方和作为错误估计函数，讲义后面从概率分布的角度讲解了该公式的来源。

     如何调整θ以使得J(θ)取得最小值有很多方法，其中有最小二乘法(min square，一种用矩阵求解的方法）和梯度下降法。

5 梯度下降法 

     在选定线性回归模型后，只需要确定参数θ，就可以将模型用来预测。然而θ需要在J(θ)最小的情况下才能确定。因此问题归结为求极小值问题，使用梯度下降法。梯度下降法最大的问题是求得有可能是全局极小值，这与初始点的选取有关。

     梯度下降法是按下面的流程进行的：

     1）首先对θ赋值，这个值可以是随机的，也可以让θ是一个全零的向量。

     2）改变θ的值，使得J(θ)按梯度下降的方向进行减少。

     梯度方向由J(θ)对θ的偏导数确定，由于求的是极小值，因此梯度方向是偏导数的反方向。结果为

     

 （加号右边部分为负的偏导数）。

     迭代更新的方式有两种，一种是批梯度下降，也就是对全部的训练数据求得误差后再对θ进行更新，另外一种是增量梯度下降，每扫描一步都要对θ进行更新。前一种方法能够不断收敛，后一种方法结果可能不断在收敛处徘徊。

     一般来说，梯度下降法收敛速度还是比较慢的。

     另一种直接计算结果的方法是最小二乘法。

————————————————————————————————————————————————————————

 

看了下时间，刚好是凌晨3:13，我在大学时的寝室门牌