机器学习（十一）——构造广义线性模型（Constructing GLMs）

原文：http://cs229.stanford.edu/notes/cs229-notes1.pdf

假设您希望建立一个模型来估计在任何给定时间内到达您的商店的顾客数量y(或您网站上的页面浏览量)，基于某些特点x，如商店促销，最近的广告，天气，每周一天等。我们知道泊松分布通常给出了一个很好的游客数量模型。知道了这一点，我们如何才能为我们的问题建立一个模型？幸运的是，Poisson是指数族分布，因此我们可以应用广义线性模型(GLM)。在本节中，我们将描述为这样的问题构造GLM模型的方法。

更一般的，考虑一个分类或者回归问题，我们希望根据x的函数来预测一些随机变量y的值。为了得到这个问题的一个GLM，我们将给出关于给定x关于y的条件分布以及我们的模型的三个假设：

1、y|x~ ExponentialFamily(η)。即，给定x和θ，y的分布服从指数族分布，且参数为η。

2、给定x，我们的目标是预测给定x的T(Y)的期望值。在我们的大多数例子中，我们将有T(Y)=y，这意味着我们希望我们的学习假设h的预测h(X)输出满足h(X)=E[y|x]。

3、自然参数η与输入x呈线性关系：

这些假设中的第三个似乎是上述假设中最不合理的，在我们设计GLMS的配方中，就其本身而言，它可能被认为是一种“设计选择”，而不是一种假设。这三种假设/设计选择将使我们能够派生出一种非常优雅的学习算法，即GLMs，它们具有许多可取的特性，例如易学性。此外，得到的模型对于模拟y上的不同类型的分布通常是非常有效的。例如，我们将很快证明Logistic回归和普通最小二乘都可以被导出为GLMs。