参数估计、假设检验与回归

参数估计、假设检验统计总体架构

拟合（fitting）

 

概念	已知某函数的若干离散函数值{f1,f2,…,fn}，通过调整该函数中若干待定系数f(λ1, λ2,…,λn)，使得该函数与已知点集的差别(最小二乘意义)最小。如果待定函数是线性，就叫线性拟合或者线性回归，否则叫作非线性拟合或非线性回归。

 

参数估计

概念	在已知系统模型结构时，用系统的输入和输出数据计算系统模型参数的过程。

 

点估计

 

方法	最小二乘法和极大似然法（见Logistic regression 及MLR）

 

最小二乘法（least-squaresmodel）

 

概念	使误差的平方和 ∑[p(Xi)-Yi]^2 最小
Equation	最小二乘矩阵形式： 计算  ，解出其中的 x。比较直观的做法是求解 ，但通常比较低效。其中一种常见的解法是对 进行QR分解（），其中Q 是 正交矩阵（Orthonormal Matrix）， R 是 上三角矩阵（Upper Triangular Matrix），则有
分类	普通最小二乘（OLS）、偏最小二乘、有条件（CLS）、正则化、加权

 

极大似然估计方法（Maximum Likelihood Estimate，MLE）

 

概念	在已知总体X概率分布时，对总体进行n次观测，得到一个样本，选取概率最大的值作为未知参数的估计是最合理的
Equation	选取达到最大值的作为估计值最合理。即,  为极大似然估计值 (MLE). 其计算一般用对数求解。
例	例：设总体X服从参数为p的0-1分布，(X1, X2, …, Xn) 是来自X一个样本，求p的极大似然估计。 解：X的概率分布为 似然函数 其中x1, x2, ..., xn 在集合{0,1} 中取值。   对数似然函数：
注意	极大似然估计只是一种粗略的数学期望，要知道它的误差大小还要做区间估计。