线性回归的公式

线性回归方程:


线性回归的一般式:f(x)=b*x + a;

 

第一步:


1)由所给出的系列值分别计算两个变量的平均值
x平均=(Σxi)/n y平均=(Σyi)/n 【Σ是把相应的值加起来,n是数据组数】

解释:分别求出来x和y的平均值


第二步:


2)计算一系列的差值(即△)
△xi=xi-x平均 【应该有n个△x】;△yi=yi-y平均 【也应该有n个】

解释:每一个x减去平均值,每一个y值减去平均值

 

第三步:


3)求出两个 和 值

A》 Σ△xi△yi=△x1*△y1+...+△xn*△yn
B》 Σ△²xi=(△x1)²+...+(△xn)²

解释:A求出来(x减去x的平均值)乘以(y减去y的平均值),所有值相加,B(x减去x的平均值)的平方,求和

 

第三步:


4)由公式求出  b=Σ△xi△yi / Σ△²xi 【通常2)、3)、4)并不分别进行】

解释:求b的值,b的值就等于第三步A步骤计算的值除以B步骤计算的值。

 

第四步:


5)由公式算出 a a=y平均-b*x平均
解释:计算a的值,a就等于y的平均值减去b乘以x的平均值。

然后按格式写出回归方程即得.

把计算出来的a和b的值带入到上面的公式里面,就可以写出来直线方程了。

有数学功底的直接看这个:


回归流程 我 通常这样进行:
1)由所给出的系列值分别计算两个变量的平均值
x平均=(Σxi)/n y平均=(Σyi)/n 【Σ是把相应的值加起来,n是数据组数】
2)计算一系列的差值(即△)
△xi=xi-x平均 【应该有n个△x】;△yi=yi-y平均 【也应该有n个】
3)求出两个 和 值 A》 Σ△xi△yi=△x1*△y1+。。。+△xn*△yn
B》 Σ△²xi=(△x1)²+。。。+(△xn)²
4)由公式求出 b b=Σ△xi△yi / Σ△²xi 【通常2)、3)、4)并不分别进行】
5)由公式算出 a a=y平均-b*x平均


 

### 贝叶斯线性回归公式的数学推导 贝叶斯线性回归的核心是从贝叶斯视角出发,通过先验分布和似然函数来计算后验分布。以下是其主要公式及其推导过程: #### 后验分布的定义 根据贝叶斯定理,参数 $\theta$ 的后验分布可以表示为: $$ p(\theta|y, X) \propto p(y|\theta, X)p(\theta) $$ 其中 $p(y|\theta, X)$ 是数据的似然函数[^1],而 $p(\theta)$ 则是参数的先验分布。 --- #### 似然函数的形式 假设目标变量 $y$ 和输入特征矩阵 $X$ 存在线性关系,并且误差服从高斯分布,则有: $$ y = X\beta + \epsilon,\quad \epsilon \sim N(0, \sigma^2I) $$ 因此,给定参数 $\beta$ 和噪声方差 $\sigma^2$,观测值 $y$ 的条件分布为: $$ p(y|X, \beta, \sigma^2) = (2\pi\sigma^2)^{-n/2} \exp{\left(-\frac{1}{2\sigma^2}(y-X\beta)^T(y-X\beta)\right)} $$ 这是似然函数的具体形式[^4]。 --- #### 参数的先验分布 为了完成贝叶斯推断,通常会为参数 $\beta$ 设计一个共轭先验分布。常见的选择是零均值的高斯分布: $$ p(\beta) = N(\mu_0, \Sigma_0) $$ 即: $$ p(\beta) = |\Sigma_0|^{-1/2} (2\pi)^{-d/2} \exp{\left(-\frac{1}{2} (\beta-\mu_0)^T\Sigma_0^{-1}(\beta-\mu_0)\right)} $$ 这里 $\mu_0$ 表示先验均值向量,$\Sigma_0$ 表示先验协方差矩阵[^3]。 --- #### 后验分布的解析解 利用高斯分布的性质以及共轭先验的特点,可以得到后验分布仍然是高斯分布: $$ p(\beta|y, X) = N(\mu_n, \Sigma_n) $$ 具体来说,后验均值和协方差分别为: $$ \Sigma_n = [\Sigma_0^{-1} + \frac{1}{\sigma^2}X^TX]^{-1} $$ $$ \mu_n = \Sigma_n[\Sigma_0^{-1}\mu_0 + \frac{1}{\sigma^2}X^Ty] $$ 这些公式可以通过最大化后验概率或者直接积分得出。 --- #### 预测阶段 对于新的测试样本 $x_{new}$,预测的目标是求出目标变量 $y_{new}$ 的分布。基于贝叶斯框架,这一分布由以下两部分组成: 1. **模型不确定性**:来自参数 $\beta$ 的后验分布; 2. **数据不确定性**:来自观察噪声。 最终的预测分布为: $$ p(y_{new}|x_{new}, y, X) = \int p(y_{new}|x_{new}, \beta)p(\beta|y, X)d\beta $$ 由于后验分布是高斯分布,可以直接写出预测分布的形式: $$ p(y_{new}|x_{new}, y, X) = N(x_{new}^T\mu_n, x_{new}^T\Sigma_nx_{new}+\sigma^2) $$ 这表明预测不仅依赖于后验均值,还考虑了参数不确定性和噪声的影响[^2]。 --- ```python import numpy as np def bayesian_linear_regression(X, y, sigma_sq=1.0, mu_prior=None, Sigma_prior=None): n_samples, d_features = X.shape if mu_prior is None: mu_prior = np.zeros(d_features) if Sigma_prior is None: Sigma_prior = np.eye(d_features) # 计算后验协方差 Sigma_posterior = np.linalg.inv(np.linalg.inv(Sigma_prior) + (1/sigma_sq)*np.dot(X.T, X)) # 计算后验均值 term1 = np.linalg.inv(Sigma_prior).dot(mu_prior) term2 = (1/sigma_sq)*np.dot(X.T, y) mu_posterior = Sigma_posterior.dot(term1 + term2) return mu_posterior, Sigma_posterior ``` 上述代码实现了贝叶斯线性回归中后验分布的计算。 --- #### 小结 贝叶斯线性回归提供了一种自然的方式来量化模型的不确定性,这对于许多实际应用非常重要。相比传统最小二乘法或最大似然估计,这种方法能够更好地处理过拟合问题并给出置信区间。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值