【统计】什么事最小二乘估计

指的是一个简单的线性回归模型，其中因变量$y_t$被建模为时间的函数$t$。模型为:

$$y_t=\mu +\tau t+{ϵ}_t$$

其中:
-$y_t$表示$t$时刻的观测值;
-$\mu$为回归的截距项($t=0$时$y$的期望值)，
-$\tau$是斜率项，表示$t$增加一个单位(趋势分量)时$y$的变化，
-${ϵ}_t$为误差项，表示由于模型中未包含的因素导致的与模型的随机偏差。

给定一个时间序列$x_1,x_2,...,x_n$和相应的时间索引$t=1,2,...,n$，可以使用普通最小二乘(OLS)回归估计$\mu$和$\tau$。OLS估计器将观测值与线性模型预测值之间的平方差之和最小化。

下面是如何计算$\mu$和$\tau$:

1. 计算$t$和$y$的平均值(由’ x＿list '表示):
   $$\bar{t}=\frac{1}{n}\sum _{i=1}^n{t}_i$$
   $$\bar{y}=\frac{1}{n}\sum _{i=1}^n{x}_i$$

2. 用公式计算斜率($\tau$):
   $$\tau =\frac{{\sum }_{i=1}^n(t_i-\bar{t})(x_i-\bar{y})}{{\sum }_{i=1}^n(t_i-\bar{t}{)}^2}$$

3. 用公式计算截距($\mu$):
   $$\mu =\bar{y}-\tau \bar{t}$$

如何计算

import numpy as np

# Example time series data, replace this with your actual data
x_list = np.array([5, 6, 7, 8, 9, 10])  # Placeholder for your observations
n = len(x_list)  # The number of observations in the time series
t = np.arange(1, n + 1)  # Time index from 1 to n

# Calculate means of t and x_list
t_mean = np.mean(t)
x_mean = np.mean(x_list)

# Calculate the slope (tau) using the formula
tau = np.sum((t - t_mean) * (x_list - x_mean)) / np.sum((t - t_mean) ** 2)

# Calculate the intercept (mu) using the formula
mu = x_mean - tau * t_mean

# Print the estimated parameters
print(f"Estimated mu (intercept): {mu}")
print(f"Estimated tau (slope): {tau}")

# Optional: Calculate and print the fitted values and residuals
fitted_values = mu + tau * t
residuals = x_list - fitted_values

print("Fitted values:", fitted_values)
print("Residuals:", residuals)

Why

方程是计算通过二维空间中的一组点的简单线性回归线的斜率的公式($\tau$)。该公式来源于普通最小二乘法(OLS)，这是统计建模中通过一组点找到最佳拟合线的标准方法。

这个公式背后的内在理论是基于最小化观测值与线性模型预测值之间的垂直距离(残差)的平方和。

以下是OLS方法的细分，以及该公式为何有效:

1. 线性模型:简单的线性模型可以写成:
   $$y=\mu +\tau \cdot t+\epsilon$$
   其中$y$为因变量，$t$为自变量(本例中为时间)，$\mu$为截距，$\tau$为斜率，$\epsilon$为误差项。

2. 目标函数:OLS的目标是找到使残差平方和(SSR)最小的$\mu$和$\tau$值，其中每个点的残差为观测值与模型预测值之间的差值:
   $$\text{SSR}=\sum _{i=1}^n(y_i-(\mu +\tau \cdot t_i){)}^2$$

3. 最小化SSR:为了使SSR相对于$\tau$最小化，我们对$\tau$求SSR的导数并置其为零:
   $$\frac{\partial }{\partial \tau }\text{SSR}=-2\sum _{i=1}^n(y_i-\mu -\tau \cdot t_i)\cdot t_i=0$$
   求解$\tau$得到了斜率的公式
   $$\tau =\frac{{\sum }_{i=1}^n(t_i-\bar{t})(y_i-\bar{y})}{{\sum }_{i=1}^n(t_i-\bar{t}{)}^2}$$
   其中$\bar{t}$为自变量$t$的均值，$\bar{y}$为因变量$y$的均值。

4. 公式背后的直觉:公式的分子表示自变量$t$与因变量$y$之间的协方差。分母是自变量$t$的方差。斜率$\tau$本质上是用$t$的单位变化来衡量$y$的变化，并用$t$的可变性加权。

通过使用这个公式，我们得到了假设OLS假设满足的系数的最佳线性无偏估计量(BLUE)。这些假设包括线性、独立性、均方差(误差的恒定方差)和误差项的正态性。

$\tau$的公式是在误差均值为零并且与自变量不相关的假设下推导出来的。它是回归分析的基本结果之一，并作为更复杂模型的基础。

怎么用协方差解释最小二乘估计

协方差是衡量两个随机变量一起变化的程度，或者换句话说，两个变量共变的程度。如果我们看两个变量，$t$和$x$,$t$和$x$之间的协方差给了我们一个线性关系方向的指示。

协方差公式为:

$$\text{Cov}(t,x)=\frac{1}{n}\sum _{i=1}^n(t_i-\bar{t})(x_i-\bar{x})$$

其中:
-$t_i$为自变量在观测值$i$处的值，
-$\bar{t}$是自变量的均值，
-$x_i$为因变量在观测值$i$处的值，
-$\bar{x}$为因变量的均值
-$n$是观测值的个数。

该公式计算每对观测值与各自均值的偏差的平均乘积。如果协方差为正，则意味着随着$t$的增加，$x$也趋于增加。如果它是负的，当$t$增加时，$x$趋于减少。

现在，对于线性回归斜率($\tau$)，我们使用修改版本的协方差公式:

$$\tau =\frac{\text{Cov}(t,x)}{\text{Var}(t)}$$

其中:
-$\text{Var}(t)$为$t$的方差，即$t$与其均值($\text{Var}(t)=\frac{1}{n}{\sum }_{i=1}^n(t_i-\bar{t}{)}^2$)的方差平方的平均值。

这个$\tau$公式本质上是通过自变量$t$的方差量来标准化协方差。通过这样做，它告诉我们$t$发生一个单位变化时$x$发生了多少变化。这是回归线的斜率。

更直观的说法是:
协方差给了我们一个原始值，告诉我们两个变量之间关系的方向。

• 方差为我们提供了单个变量的传播(变量与其平均值相差多少)的度量。
• **回归线的斜率$\tau$**是两个变量之间关系的归一化度量，考虑到自变量的扩散。

---

当协方差除以方差时，我们实际上是在用自变量的变异程度来缩放关系的度量。这给了我们一个独立于$t$和$x$单位的斜率，允许在不同的数据集或变量之间进行有意义的比较。

---

Cov 表示 t, x 同向变化程度， 除以 Var(t) 用来去掉量纲/标准化/消除 t 的值的影响，变成一个无量纲量