尾折机器学习笔记01（李宏毅）—— Regression

Q1:Regression可以做什么？

可以预测股票

可以无人驾驶

可以做推荐系统

Q2:宝可梦案例

预测宝可梦的CP值

定几个自变量和因变量

步骤一：首先找Model——就是Function Set

Linear model(线性模型)

xi是各种属性——feature

wi：weight,   b：bias

步骤二：找出合适的函数

收集10只神奇宝贝的数据，然后拟合

如何确定Function的好坏，定义一个损失函数

有了损失函数后，我们可以用图像的形式表现出来

每一个点都代表了一个Function，颜色越偏红代表数值越大，越偏蓝代表数值越小即损失最小。

找出损失值最小的函数

步骤三:梯度下降法

首先随机选取一个初始点，在初始点计算w参数对L的导数，如果切线斜率为负，则应该增加w；为正，则减少w；

至于移动多少呢？

更新w1后，重新以此计算

直到斜率计算为0，即某个低谷。

上面为一个参数，接下来来看两个参数

也是一样的，找初始点，移动点，

步骤三：梯度下降法

啥是gradient?

可视化一下这个找最小损失值的过程

梯度下降法有一个让人担心的情况：可能要看人品找点

但在Linear Model里不用担心，因为最低点肯定是唯一的。

算一下看看

算下Generalization,就是在测试集上试一下，略。

试着使用更复杂的Model

 

归纳总结一下

越复杂的Model包含了越多的Function

但训练集和测试集上的表现是不一样的，可能测试集上表现就不那么好了

就是我们常说的过拟合了。。。。所以这里要选择3次数比较好

同时，当我们收集更多数据后，发现会有新的变量

改写成Linear Function

模型还能再改进吗？

把能想到的所有变量！都！塞！进！模！型！

emmmm结果就是太复杂，过拟合了

那怎么办?Regularization

改写损失函数，使得找到平滑的Function

<在做Regulization的时候不需要考虑bias>

/End