线性回归:
表达形式为y = w'x+e,e为误差服从均值为0的正态分布。
线性回归可以分为单变量线性回归(Linear Regression with One Variable)以及多变量线性回归(Linear Regression with Multiple Variables)。在此主要了解单变量线性回归。
以ng课程的房屋交易问题为例:
假设给定一批已知的房子大小和价格的对应关系数据,如何对一个给定大小的房子进行估值?
假使我们回归问题的训练集(Training Set) 如下表所示:
我们用来描述这个回归问题的标记如下:
关键是找到假设函数,怎样找到假设函数呢?
对于处理单变量线性回归的重要几点:
假设函数:数据呈线性分布
参数:进行参数拟合
代价函数:用于进行参数选择(即拟合),最常用的是最小均方误差
最小化参数:将参数回归转化为误差最小化的优化问题,
下面详细讲述一下代价函数,代价函数在线性回归中至关重要。
代价函数:
个人理解 代价函数是用于寻找最优解(假设函数)的目标函数,代价函数也正是用来做这件事的。
代价函数的作用原理:
求代价函数的最优解,常用均方误差代价函数。
对于假设函数:
它的两个参数的改变也会导致假设函数的变化
然而实际应用中,我们一般会把拿到的数据一线性回归函数的形式展示,如下,就需要我们找到最佳的拟合直线
我们先以单一参数为例,令O0的值为0,便可以得到一条如下直线:
或者
为了使这个值不受个别极端数据影响而产生巨大波动,采用类似方差再取二分之一的方式来减小个别数据的影响。这样,就产生了代价函数:
采用代价函数找到在图上的点:
继续找点:
最后会得到一个大致的由代价函数得到的可视化图像:
可以看到J(O_i)的最小值为J(O_1),J(O_1)为最小值对应于左边假设函数拟合度最好的函数图线。【O表示theta,下同】
不难发现J(O_1)对应左边绿色的线,J(O_0.5)对应左边品红色的线,J(O_0)对应左边蓝色的线。
如果更多参数的话,就会更为复杂,两个参数的时候就已经是三维图像了:
使用等高线图表示:
下图中椭圆线上均有相等的高度值,也即是说 如果O_1,O_2,O_3在统一椭圆上 则J(O_1)=J(O_2)=J(O_3)。
上面的一些参数是我们大致用眼睛看到的,并不一定是最优解。而怎样找到最适合的参数O_1,O_2呢,这就要用到一些算法了。
比较合适的当属 梯度下降算法,不在此进行总结记录。