斯坦福机器学习第三课——牛顿迭代法与广义线性模型（Generalized Linear Models）

在进入正题之前，来讨论一下牛顿迭代法。

和梯度求导法一样，牛顿迭代法也是一种求最大似然的ℓ(θ)的方法。其基本过程为：

1.找到曲线上横坐标x=0的点f(0)

2.对f(0)点做切线

3.切线和横坐标交于另外一点A1，再找到曲线上对应的点f(1)

4.对f(1)点做切线

5.依次重复以上过程，直到f(x)=0为止。

与梯度求导法相比，牛顿迭代法收敛速度快，迭代次数少。但是代价高，因为它要对N*N维矩阵计算。因此我们可以根据矩阵的维度选择不同方式的计算方法。当矩阵维度较少时，选择牛顿迭代法比更好。反之亦然。

广义线性模型（Generalized Linear Models）

首先让我们来看维基百科上的定义：

在统计学上，广义线性模型 (Generalized linear model) 是一种应用广泛的线性回归模式。此模式假设实验者所量测的随机变量的分布函数与实验中系统性效应(即非随机的效应)可经由链接函数(link function)建立起解释其相关性的函数。

这里的分布函数一般是指数模型中的一个函数，用人话来讲就是其分布于链接函数g(η)有一定关系。

指数模型

如果一个分布方式能够表示成一下方式便可以称作指数模型的一员。泊松分布、高斯分布、伯努利分布皆是。