机器学习笔记-回归(Regression)

Regression：Output a scalar。

Regression可以用于预测股票市场、无人驾驶、推荐系统，这里的例子是可以预测宝可梦的CP值

Step 1：Model

所谓的Model就是a set of function。在这个例子中，我们可以把function写成
y=b+w⋅xcp，因为b跟w可以带入各种值，所以function有无穷多个。这个model我们称之为Linear model：y=b+∑wi⋅xi (wi：weight，b：bias).

Step 2：Goodness of Function

首先准备好training data

我们需要使用Loss Function衡量function的效果好坏
Loss Function L: Input：a function，output：how bad it is
此时，可以如下定义Loss Function：

将Loss Function可视化绘图，图上每个点就是一个function，图上蓝色代表loss value很小，红色代表loss value很大

Step 3：Best Function

可以用线性代数迅速求得解。还可以使用更general的方法，能够用在各种不同的task上，这个方法就是Gradient Descent(梯度下降).

Gradient Descent首先随机选取初始值，然后计算此处切线的斜率，斜率如果小于0，如图上小猴子位置，显然切线左边高右边低，此时应该把参数向右边移以减少Loss的值。如果斜率大于0，说明切线左边低右边高，应该把参数向左边移以减少Loss的值。

learning rate控制学习速度的快慢

有时候经过多次迭代会停在local minima，不是我们想要的global minima，所以不同的随机会得到不同的结果，很看人品

当有两个参数的时候，Gradient Descent的过程如上图所示

Gradient Descent可视化过程如上图所示。颜色代表Loss的值，越深代表值越小

参数如果走到一个saddle point（鞍点），Gradient Descent也会停下来

公式推导

How’s the results?

可以看出，在Testing Data的error略大于Training Data的error

Selecting another Model

根据上面的模型我们发现, 越复杂的model在训练集上的error越小

一个比较复杂的model并不一定总是在testing data上给我们比较好的performance。

Overfitting就是model在training data上表现很好，在testing data上表现不好。
应对Overfitting的方法：

• 收集更多的数据。

• 以前的模型有一些隐藏的因素没有考虑进去。所以我们需要重新设计一番

根据宝可梦种类采用不同的function

Regularization(正则化)

我们使用新的Loss Function：

使用这个Loss Function找到的最好的function不止可以让L最小，同时还要是w很小的function。w很小的Function意味着Function是smooth（平滑）的。我们相信在多数的状况下，smoother function更像是正确的function。λ设置的大一些，找到的function就会越smooth。

从上图中可以发现，λ越大，Training Error越大。
我们希望选到smooth function，但是不要too smooth。
选择λ，获得最好的model。