参数估计、假设检验与回归

最新推荐文章于 2024-07-11 18:01:48 发布

textboy

最新推荐文章于 2024-07-11 18:01:48 发布

阅读量2.1w

点赞数 4

分类专栏： DataAnalysis 文章标签：参数估计假设检验最小二乘极大似然拟合优度

本文链接：https://blog.csdn.net/textboy/article/details/46745139

版权

本文深入探讨了统计学中的参数估计和假设检验。内容涵盖点估计、最小二乘法、极大似然估计，以及区间估计中的置信区间。同时，介绍了F检验、t检验、z检验和非参数检验等假设检验方法。此外，文章还讨论了拟合优度检验和回归分析，包括简单线性回归、多重共线性问题、广义线性模型（GLM）和广义相加模型（GAM）。通过对各种统计模型的解析，帮助读者理解如何在实际问题中运用这些统计工具。

摘要由CSDN通过智能技术生成

参数估计、假设检验统计总体架构

拟合（fitting）

概念	已知某函数的若干离散函数值{f1,f2,…,fn}，通过调整该函数中若干待定系数f(λ1, λ2,…,λn)，使得该函数与已知点集的差别(最小二乘意义)最小。如果待定函数是线性，就叫线性拟合或者线性回归，否则叫作非线性拟合或非线性回归。

参数估计

概念	在已知系统模型结构时，用系统的输入和输出数据计算系统模型参数的过程。

点估计

方法	最小二乘法和极大似然法（见Logistic regression 及MLR）

最小二乘法（least-squaresmodel）

概念

使误差的平方和 ∑[p(Xi)-Yi]^2 最小

Equation

最小二乘矩阵形式：

计算，解出其中的 x。比较直观的做法是求解，但通常比较低效。其中一种常见的解法是对进行QR分解（），其中Q 是正交矩阵（Orthonormal Matrix）， R 是上三角矩阵（Upper Triangular Matrix），则有

分类

普通最小二乘（OLS）、偏最小二乘、有条件（CLS）、正则化、加权

极大似然估计方法（Maximum Likelihood Estimate，MLE）

概念	在已知总体X概率分布时，对总体进行n次观测，得到一个样本，选取概率最大的值作为未知参数的估计是最合理的
Equation	选取达到最大值的作为估计值最合理。即, 为极大似然估计值 (MLE). 其计算一般用对数求解。
例	例：设总体X服从参数为p的0-1分布，(X1, X2, …, Xn) 是来自X一个样本，求p的极大似然估计。解：X的概率分布为似然函数其中x1, x2, ..., xn 在集合{0,1} 中取值。对数似然函数：
注意	极大似然估计只是一种粗略的数学期望，要知道它的误差大小还要做区间估计。