学习笔记-Regression

Regression

Output a scalar

自变量X（input）
因变量Y（output）
寻找一个函数（function），他的output为一个数值，这种任务就叫 Regression

Example Application

Step1 Modle

Modle 本质上是 A set of function （f₁，f₂ ，f₃ …）
例如这个model：
y=b+w * x_cp
这里的b，w 可以是任何数值。带入不同的值，可以得到不同的funtion：
$f1:y=9.0+9.0\ast x_{cp}$
$f2:y=9.8+9.2\ast x_{cp}$
$f3:y=-0.8-1.2\ast x_{cp}$
$.......infinite</center>$

这些function 组成了一个 a set of funtion （及modle），这个model 为 Linear modle ,表示为：
$$y=b+w_i{x}_i$$

Step2 Goodness of Function

使用另外一个function 衡量我们衡量function 的好坏，即 loss function （L）
input ： a function
output：how bad it is
$$L(f)=\sum _{i=1}^n({\hat{y}}^n-f(x_{cp}^n){)}^2$$
即 实际值与评估值的差距取平方累加
f 是关于 w 和 b 的，那么 L是关于 f的，即 L也是关于 w和b的，这个等式可以等同于：
$$L(w,b)=\sum _{i=1}^n({\hat{y}}^n-(b+w\ast x_{cp}^n){)}^2$$

Step3 Best Function

Best Function 即 L(f) 最小的时候
$$f^{\ast }=argminL(f)$$
$$w\ast ,b\ast =argmi{n}_{w,b}\sum _{i=1}^n({\hat{y}}^n-(b+w\ast x_{cp}^n){)}^2$$
解决这个问题的方法为 Gradient Descent

Gradient Descent

consider loss function L(w) with one parameter w:

$$w^{\ast }=argmi{n}_{w}L(w)$$

• pick an intial value $w^0$ randomly
• compute $\frac{dL}{dw}{|}_{w=w^0}$ ;计算得到新的 w : $w1\leftarrow w^0-\eta \frac{dL}{dw}{|}_{w=w^0}$ ($\eta$为 learning rate ,为一个常数)
• compute $\frac{dL}{dw}{|}_{w=w^1}$ ;计算得到新的 w : $w2\leftarrow w^1-\eta \frac{dL}{dw}{|}_{w=w^1}$
• many iteration

consider loss function L(w) with one parameter w, b :

$$w^{\ast },b^{\ast }=argmi{n}_{w,b}L(w,b)$$

• pick intial value $w^0$，$b^0$ randomly
• compute $\frac{\partial L}{\partial w}{|}_{w=w^0,b=b^0}$ ; $\frac{\partial L}{\partial b}{|}_{w=w^0,b=b^0}$ 计算得到 $w^1,b^1$
• compute $\frac{\partial L}{\partial w}{|}_{w=w^1,b=b^1}$ ; $\frac{\partial L}{\partial b}{|}_{w=w^1,b=b^1}$ 计算得到 $w^2,b^2$
• many iteration
  将参数偏导数放在一起排成vector （即 gradient） $$\Delta L=\left[\genfrac{}{}{0ex}{}{\frac{\partial L}{\partial w}}{\frac{\partial L}{\partial w}}\right]$$

存在问题： loss function 的求解容易陷入局部最优，但是 liner regression 不用太担心，因为函数是一个碗的形状，最后会达到最低点