机器学习算法拾遗：（八）广义线性模型(线性回归，逻辑回归)

广义线性模型(线性回归，逻辑回归)、  线性回归

2、广义线性模型

　　无论是在做分类问题还是回归问题，我们都是在预测某个随机变量y 和 随机变量x 之间的函数关系。在推导线性模型之前，我们需要做出三个假设：

　　1）P(y|x; θ) 服从指数族分布

　　2）给定了x，我们的目的是预测T(y) 在条件x下的期望。一般情况下T(y) = y，这也就意味着我们希望预测h(x) = E[y|x]

　　3）参数η 和输入x 是线性相关的：η=θTx

　　在这三个假设的前提下，我们可以开始推导我们的线性模型，对于这类线性模型称之为广义线性模型。

　　最小二乘法（线性回归）

　　假设p(y|x; θ)∼N(μ, σ2)，μ可能依赖于x，那么有

　　

　　因为输出服从高斯分布，因此期望为μ，再结合上面的三天假设就可以推导出线性回归的表达式。因此线性回归模型的响应变量是服从高斯分布（正态分布）。　　

　　逻辑回归（LR）

　　逻辑回归是二分类问题，y∈ {0, 1}，对于二分类问题，我们假设p(y|x; θ)∼Bernoulli(ϕ)，即响应变量服从伯努利分布。那么有

　　

　　因此可以看出逻辑回归的表达式是如何得来的，为什么用Sigmoid函数来处理非线性问题

3 线性回归模型的代价函数

通过线性回归算法，我们可能会得到很多的线性回归模型，但是不同的模型对于数据的拟合或者是描述能力是不一样的。我们的目的最终是需要找到一个能够最精确地描述数据之间关系的线性回归模型。这是就需要用到代价函数。代价函数就是用来描述线性回归模型与正式数据之前的差异。如果完全没有差异，则说明此线性回归模型完全描述数据之前的关系。如果需要找到最佳拟合的线性回归模型，就需要使得对应的代价函数最小，相关的公式描述如下：

Hypothesis，表示的就是线性回归模型Cost Function，代价函数Goal，就是要求对应的代价函数最小

3、逻辑回归

　　逻辑回归是在线性回归的基础上演变过来的，逻辑回归实际上是处理二分类问题的模型，输出结果y∈ {0, 1}，为了满足这样的输出结果，我们引入Sigmoid函数将行数的输出值控制在(0, 1) 范围内，Sigmoid函数表达式如下

　　

　　

　　因为逻辑回归是个二分类问题，服从伯努利分布，输出结果用概率的形式表示，可以将表达式写成

　　

　　为了便于后面的分析计算，我们将分段函数整合

　　

　　对于给定的训练样本，这属于已经发生的事情，在概率统计中认为已经发生事情应该是概率最大的事件（概率小的事件不容易发生），因此可以用极大似然法来求解模型参数，我们将所有样本的联合分布概率给出

　　

　　为了便于计算，我们将似然函数转化为对数似然函数

　　

　　上面的函数是求极大值，而我们通常的损失函数都是求极小值，因此可以转变为

　　

　　对于损失函数J(w) 是比较复杂的，利用正规方程去获得参数的解是很困难的，因此引入梯度下降法（梯度的负方向就是损失函数下降最快的方向），利用梯度下降来极小化损失函数。