协方差矩阵、大数定律、牛顿迭代法

方差与协方差

方差是用来度量单个随机变量的离散程度，而协方差是用来刻画两个随即变量的相似程度。

从协方差/方差到协方差矩阵：

假设一个向量X服从均值向量为μ，协方差向量为，的多元正态分布，则概率密度函数表示为：

大数定律

辛钦大数定律：样本均值依概率收敛于期望值。

另一种切比雪夫定理的情况：

Newton-Raphson迭代法

Newton-Raphson：
在实数域和复数域上近似求解方程的方法。
Background：
多数公式不存在求根公式，因此求精确度非常困难，甚至不可解，从而寻找方程的近似解就显得尤为重要。使用函数F(x)的泰勒级数前几项来寻找方程F(x)=0的根。牛顿迭代法是求根的重要方法之一，优点是在方程F(x)=0的单根附近具有平方收敛，而且还可求方程的重根、复根。
Algorithm：

用牛顿法解非线性方程，是把非线性方程f(x)=0线性化的一种近似方法。把f(x)在点 的某领域内展开成泰勒级数：


已经证明，如果是连续的，并且待求的零点是孤立的，那么在零点周围存在一个区域，只要初始值位于这个邻近区域内，那么牛顿法必定收敛。 并且，如果不为0, 那么牛顿法将具有平方收敛的性能. 粗略的说，这意味着每迭代一次，牛顿法结果的有效数字将增加一倍。

利用N-R迭代法估计MLE时，需要说明的是：

1. 迭代可能不收敛。
2. 即使收敛也不一定是全局最大值，还有局部最大值或局部最小值的可能。可以采用多个起始点，最后选择最大的。