线性模型

线性模型

一、基本形式

线性模型是一种有监督学习，它试图得到一个线性模型以尽可能准确地预测实际输出标记。$f(x)=w_1x_1+w_2x_2+...+w_dx_d+b$其中$x_1$到$x_d$为描述事例$x$的$d$个属性,$w=(w_1;w_2;...;w_d),w$可以看作每个属性的权重系数越大对于线性模型影响越大。$w$和$b$学得之后就可以确定模型。

二、线性回归

线性回归是处理回归任务最常用的算法之一。该算法的形式十分简单，它期望使用一个超平面拟合数据集。如果数据集中的变量存在线性关系，那么其就能拟合地非常好。给定数据集合$D=${$(x_1,y_1),(x_2,y_2),...,(x_m,y_m)$}这里具体$x_i=(x_{i1};x_{i2};x_{i3};...x_{id})$其中$x_{i1}$表示为第$i$个事例的第1个属性。现在目标就是确定$w$和$d$,基于均方差最小化来进行模型求解（最小二乘法）。

三、正则化

满足均方差最小的模型可能有多个，也就是得到了多个$w$值，那么在这样的情况下怎么选择一个合适 w <script type="math/tex" id="MathJax-Element-119">w</script>输出，将由学习算法的偏好决定，常见做法是引入正则化。正则化其实就是一种对过多回归系数采取惩罚以减少过拟合风险的技术。当然，我们还得确定惩罚强度以让模型在欠拟合和过拟合之间达到平衡。

三、参考代码

[ Linear Regression Example]

运行结果：