机器学习(三)线性模型

概念储备：　

　　线性关系是指自变量x与因变量y之间可以表示成y=ax+b ,(a,b为常数)，即说x与y之间成线性关系。

　　线性关系假设即X与Y在总体上具有线性关系，这是一条最基本的假设，也就是说回归分析一定要建立在变量之间存在线性关系的基础上。如果变量之间不存在线性关系时，需要使用非线性模型。

　　本-量-利分析的线性关系假设，首先是指固定成本与产量无关，变动成本与业务量(产量)成正比例关系，其次通常都假设销售单价是个常数，销售收入与销量成正比，二者存在一种线性关系，但些假设也只有在一定的相关范围内才能成立。

　　（The least square method）和（least square error）
1）狭义的最小二乘方法，是线性假设下的一种有闭式解的参数求解方法，最终结果为全局最优；
2）梯度下降法，是假设条件更为广泛（无约束）的，一种通过迭代更新来逐步进行的参数优化方法，最终结果为局部最优；
3）广义的最小二乘准则，是一种对于偏差程度的评估准则，与上两者不同。
4）数值解(numerical solution)
是在特定条件下通过近似计算得出来的一个数值，是采用某种计算方法,如有限元的方法, 数值逼近,插值的方法, 得到的解.别人只能利用数值计算的结果
解析解(analytical solution)就是给出解的具体函数形式，从解的表达式中就可以算出任何对应值，就是一些严格的公式,给出任意的自变量就可以求出其因变量,也就是问题的解, 他人可以利用这些公式计算各自的问题.所谓的解析解是一种包含分式、三角函数、指数、对数甚至无限级数等基本函数的解的形式。解析解为一封闭形式〈closed-form〉的函数，因此对任一独立变量，带入解析函数求得正确的相依变量。因此，解析解也被称为闭式解（closed-form solution）

线性模型是一种高效模型

1.基本形式：

对于给定d个属性描述的示例x=（x1，x2，……，xd）,通过属性的线性组合来进行预测。一般的写法如下：

$$f(x) = \omega^Tx + b$$
　　因此，线性模型具有很好的解释性（understandability，comprehensibility），参数w代表每个属性在回归过程中的重要程度。

2. 线性回归

对于线性回归，我们先考虑简单的问题，输入的属性数目只有一个。
对于线性回归而言，均方误差有非常好的几何意义，它对应了常用的欧几里得距离（欧式距离），
基于均方误差最小化来进行模型求解的方法称“最小二乘法”
在求解时，我们考虑XTX可能不满秩，因此将对应多个接都能使得均方误差最小化，选择哪个解作为输出，将由学习算法的偏好决定，最常见的方法是引入正则化。

广义线性回归，其中函数g（.）称为“联系函数”

3. 对数几率回归（逻辑回归）

　　利用回归来实现分类，只需要找到一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来。我们利用对数几率函数代替单位阶跃函数，如下：

$$y = \dfrac{1}{1 + e^{-x}}$$

　　对数几率函数是一种“Sigmoid函数”，在神经网络中扮演重要的作用。将输出值转化为接近0或者1的y值，
　　

y=11+