线性回归模型

1-模型介绍

Hypothesis:

$$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+...+{\theta }_n{x}_n$$

Parameters:

$${\theta }_0,{\theta }_1,...,{\theta }_n$$

Cost Function:

$$J({\theta }_0,{\theta }_1,...,{\theta }_n)=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(x^{(i)}-y^{(i)}{)}^2$$

Goal:

$$minimiz{e}_{{}_{{\theta }_0,{\theta }_1,...,{\theta }_n}}J({\theta }_0,{\theta }_1,...,{\theta }_n)$$

Hypothesis函数

是我们需要拟合的函数,一般称之为假设函数,我需要做的是通过给定的数据来找到参数${\theta }_0,{\theta }_1$来确定一条直线,使数据中尽可能多的点落在直线周围上面的描述只是一个简单的只有两个参数的问题.

Cost函数

cost函数,计算实际值和观测值之间的误差的平方,用这个值来表示拟合函数的代价,代价越小,则说明拟合的函数越贴合数据.

Goal

因此我们需要做的是使代价函数最小.

实现方式

实际运用中我们通常写成向量形式,方便计算.通常我们可以表示为矩阵形式

假设函数:

$$h_{\theta }(x)={\theta }^{T}X,其中\theta =[{\theta }_0,{\theta }_1,...,{\theta }_n{]}^T,X=[1,x_1,x_2,...,x_n]$$

Cost 函数计算

$$J({\theta }_0,{\theta }_1,...,{\theta }_n)=\frac{1}{2m}erro{r}^T\ast error$$
$$error={\theta }^{T}X-Y$$
$$Y=[y_0,y_1,...,y_n]$$

2- 梯度下降算法

接下来就是如何寻找一组合适的$[{\theta }_0,{\theta }_1,...,{\theta }_n]$来确定我们的假设函数的值.梯度下降算法是一种求解局部最优值的方法.对于$f(x)$,在$a$点的梯度是$f(x)$增长最快的方向,那么相反的方向则是该点下降最快的方向.具体公式如下

$$\frac{\partial }{\partial {\theta }_j}J({\theta }_0,...,{\theta }_n)=\frac{\partial }{\partial {\theta }_j}\frac{1}{2}\sum _{j=1}^m(h_{\theta }(x)-y{)}^2=(h_{\theta }(x)-y)x^{(i)}$$

下面是参数更新过程

$${\theta }_j={\theta }_j-\alpha \frac{\partial }{\partial \theta }J(\theta )={\theta }_j-\alpha (h_{\theta }(x)-y)x^{(i)}$$

对于线性回归问题,我们的假设函数是线性函数,因此我们的参数更新过程可以写成向量形式:

$$\frac{\partial }{\partial {\theta }_j}J({\theta }_0,...,{\theta }_n)=\frac{1}{m}{X}^T({\theta }^T-Y)$$