机器学习方法篇(2)------线性模型

● 每周一言

大道至简，知易行难。

导语

线性模型应该是最直观、最容易理解的一种机器学习模型了。同时也是应用最广泛的一种模型，比如各种模型中常出现的softmax层、全连接层等等，都属于线性模型。那么线性模型到底是什么，其训练方式又是如何？

线性模型

如果在街上看见一个皮肤黝黑的人，我们很可能会猜他来自非洲，而认为黄种人多半来自亚洲，白种人则多半来自欧洲；夏天买西瓜，我们通常先看看色泽与瓜蒂，然后敲一敲听听声响判断是否好吃。其实，在做出类似生活判断的时候，我们用的就是线性模型。

可以说，人的大脑自带各种线性模型，每天的生活经验则作为这些模型的训练数据。如上面提到的夏天买瓜就是一种线性模型，其中瓜蒂、色泽及声响是3种特征。对于线性模型，我们用 $f(x) = wx + b$ 形式表示。在这个买瓜的模型中， $w$ 是一个长度为3的向量，代表上述3种西瓜特征权重。为了方便训练，通常把$b$作为 $w0$ 融入到特征向量 $[w0, w1, w2, w3]$中，相应 $x$的输入增加一维固定值，为$[1, x1, x2, x3]$。这样，形式简化成 $f(x) = wx$。

那么，这个线性模型具体如何训练呢？为了简化模拟训练过程，我们不妨先看一个拟合直线的过程。有线性函数 $f(x) = ax$，数据为 $(2, 4)$ 这一个点，训练过程如下：

1> 初始化模型参数a，假设初始化的值为5，并设定训练步长为 $s = 0.1$；
2> 将 $x = 2$ 带入 $△ = f(x) - y$ 得到当前输出与实际输出的差值 $△$，若 $△$ 的绝对值小于某一阈值则结束训练；
3> 参数a减去 $s × △$ 的值来更新a值，转第2步。

不难看出，经过有限轮次训练后，a将趋近于2。 同理，对于 $f(x) = wx$ 的训练方式与之相似。我们事先采集了一批西瓜特征，且每一条数据对应一个输出值，即西瓜是否好吃（好吃为1，不好吃为0）。第3步对参数向量 $w$ 的每一个参数进行迭代更新，严格来说，这一步修正的其实是针对输入特征x的每一维求导得来的 $w$ 参数值。

线性模型如果使用 $y = x$ 之类的线性激活函数，则称为线性回归；若使用Sigmoid函数作为激活函数，则称为逻辑（非线性）回归。此外，为了防止过拟合，通常会给模型加上正则项，具体说明可参看我之前有关正则项的文章。

结语

感谢各位的耐心阅读，后续文章于每周日奉上，敬请期待。欢迎大家关注小斗公众号 对半独白！