机器学习（十二）——证明普通最小二乘属于GLM模型族

原文：http://cs229.stanford.edu/notes/cs229-notes1.pdf

为了证明普通最小二乘是GLM模型族的特例，考虑目标变量y(在GLM术语中也称为响应变量)设置为连续的，我们将给定x的条件分布建模为一个高斯分布（这里µ可能依赖x）。因此，我们把上面的ExponentialF amily(η)分布设为高斯分布。正如我们以前看到的，在把高斯描述为指数族分布的过程中，我们得到了µ=η。所以，我们有

第一个等式来自上述假设2。第二个等式源于，因此它的期望值是由µ给出的；第三个等式来自于假设1。(以及我们先前的推导表明，在将高斯描述为指数族分布时，µ=η)；最后一个等式来自假设3。