机器学习 （笔记）牛顿方法

大纲：

1.牛顿方法

2.指数簇

3：广义线性模型（GLM）

1.牛顿方法

假设有函数：,我们希望找到满足的值. 这里是实数.

牛顿方法的过程：

1：先初始化值，记为

2：找到对应点（，），在此点求切线，

3：找到切线与x轴交点，作为，继续执行步骤2

4：直到找到的值，这里的值很大程度上是无限接近于，结合图看。

  推理过程：

 记，根据导数定义有：，整理有：，以此类推，有

，则可以得出一般规律：，令，我们可以用同样的算法去最大化同理可以得到牛顿方法更新参数的一般规律：

牛顿方法的一般化：
如果是一个向量，那么：

其中，是对的偏导数；
H称为海塞矩阵(Hessian matrix),是一个n*n的矩阵，n是特征量的个数，并且

牛顿方法比批处理梯度下降，梯度上升，梯度下降等的收敛速度快很多，很少次的迭代（十几次）就能够非常接近最小值了；但是因为每次迭代都要求海塞矩阵的值，当n很大时，求海塞矩阵的逆代价是很大的.

注：如果用牛顿方法求最小值的话，公式也不会改变

2.指数分布簇

 

 

 

       以上均是自己所见，如果有错的地方欢迎指出哦