统计学基础（四）

最新推荐文章于 2023-07-29 16:03:50 发布

一只小团子

最新推荐文章于 2023-07-29 16:03:50 发布

阅读量754

点赞数

分类专栏：统计学基础

本文链接：https://blog.csdn.net/powu0193/article/details/89166323

版权

统计学基础专栏收录该内容

4 篇文章 1 订阅

订阅专栏

一、线性回归
1、线性回归原理
数据点基本落在一条直线附近。这告诉我们，变量X与Y的关系大致可看作是线性关系，即它们之间的相互关系可以用线性关系来描述。但是由于并非所有的数据点完全落在一条直线上，因此X与Y的关系并没有确切到可以唯一地由一个X值确定一个Y值的程度。其它因素，诸如其它微量元素的含量以及测试误差等都会影响Y的测试结果。如果我们要研究X与Y的关系，可以作线性拟合
$\hat{y}=a+b x （2-1-1）$
我们称（2-1-1）式为回归方程，a与b是待定常数，称为回归系数。从理论上讲，（2-1-1）式有无穷多组解，回归分析的任务是求出其最佳的线性拟合。
2、最小二乘法
如果把用回归方程 $\hat{y}=a+b x$ 计算得到的值称为回归值，那么实际测量值 $y_{i}$ 与回归值 $\hat{y}_{i}$ 之间存在着偏差，我们把这种偏差称为残差，记为 $e_{i}^{2}$ 。这样，我们就可以用残差平方和来度量测量值与回归直线的接近或偏差程度。残差平方和定义为:
$\equiv Q(a, b)=\sum_{i=1}^{n} e_{i}^{2} =\sum_{i=1}^{n}\left(y_{i}-\hat{y}_{i}\right)^{2} =\sum_{i=1}^{n}\left(y_{i}-a-b x_{i}\right)^{2}$
(2-1-2)
所谓最小二乘法，就是选择a和b使Q(a,b)最小，即用最小二乘法得到的回归直线是在所有直线中与测量值残差平方和Q最小的一条。由(2-1-2)式可知Q是关于a,b的二次函数，所以它的最小值总是存在的。
推导：
$E_{l i n e}=\left(y_{1}-\left(m x_{1}+b\right)\right)^{2}+\left(y_{2}-\left(m x_{2}+b\right)\right)^{2}+\ldots+\left(y_{n}-\left(m x_{n}+b\right)\right)^{2}$
$=y_{1}^{2}-2 y_{1}\left(m x_{1}+b\right)+\left(m x_{1}+b\right)^{2}+y_{2}^{2}-2 y_{2}\left(m x_{2}+b\right)+\left(m x_{2}+b\right)^{2}+\ldots+y_{n}^{2}-2 y_{n}\left(m x_{n}+b\right)+\left(m x_{n}+b\right)^{2}$
$=y_{1}^{2}-2 y_{1} m x_{1}-2 y_{1} b+m^{2} x_{1}^{2}+2 m x_{1} b+b^{2}+\ldots .$
$=\left(y_{1}^{2}+y_{2}^{2}+\ldots+y_{n}^{2}\right)-2 m\left(x_{1} y_{1}+x_{2} y_{2}+\ldots+x_{n} y_{n}\right)-2 b\left(y_{1}+y_{2}+\ldots+y_{n}\right)+m^{2}\left(x_{1}^{2}+x_{2}^{2}+\ldots+x_{n}^{2}\right)+2 m b\left(x_{1}+x_{2}+\ldots+x_{n}\right)+n b^{2}$
$\overline{y^{2}}-2 m n \overline{x y}-2 b n \overline{y}+m^{2} n \overline{x^{2}}+2 m b n \overline{x}+n b^{2}$
如果知道所有点的分布，即在x，y已知的情况下，不同的m和b，有不同的SEline，是一个三纬曲面，类似碗状，求最小SEline时m、b知，可通过对m和b求偏导获得。偏导就是对于某一个自变量进行求导。
$\frac{\partial S E}{\partial \mathrm{m}}=0$ ，得
$-\overline{\mathrm{xy}}+\overline{\mathrm{x}^{2}} \mathrm{m}+\mathrm{b} \overline{\mathrm{x}}=0$
$\frac{\partial \mathrm{SE}}{\partial \mathrm{b}}=0$ ，得
$-\overline{\mathrm{y}}+\overline{\mathrm{x}} \mathrm{m}+\mathrm{b}=0$
从第二的方程中可以知道x和y的均值位于该直线上，解方程得：
$m=\frac{\overline{x} \overline{y}-\overline{x y}}{\overline{x}^{2}-\overline{x^{2}}}=\frac{\overline{x y}-\overline{x} \overline{y}}{\overline{x^{2}}-\overline{x}^{2}}, \quad b=\overline{y}-m \overline{x}$
二、协方差
度量各个维度偏离其均值的程度。协方差是为多维变量创立的，目的是为了描述两个变量的关系（正相关，负向关。相互独立）。需注意协方差只能两个维度算，多个维度的协方差形成协方差矩阵。
$\operatorname{cov}(X, Y)=E[(x-E[X])(y-E[Y])]$

三、卡方分布
卡方分布
1.1 定义
设 X1,X2,…Xn相互独立, 都服从标准正态分布N(0,1), 则称随机变量χ2=X12+X22+…+Xn2所服从的分布为自由度为 n 的χ2分布.[1]

卡方分布的期望 $E\left(X^{2}\right)=n$ ，方差 $D(x^{2})=2 n$ 。

卡方分布：若n个相互独立的随机变量ξ₁、ξ₂、……、ξn ，均服从标准正态分布N（0,1）（也称独立同分布于标准正态分布），则这n个服从标准正态分布的随机变量的平方和构成一新的随机变量，其分布规律称为分布（chi-squaredistribution）。其中参数n称为自由度（通俗讲，样本中独立或能自由变化的自变量的个数，称为自由度），正如正态分布中均值或方差不同就是另一个正态分布一样，自由度不同就是另一个分布。记为分布的均值为自由度 n，记为 E() = n；分布的方差为2倍的自由度(2n)，记为 D() = 2n。

https://www.cnblogs.com/quietwalk/p/8276097.html