广义线性模型中的普通最小二乘法(MSE转换成最大似然估计)

本文介绍了广义线性模型,探讨了如何从MSE转换到最大似然估计方法。通过引入正态分布概率密度函数,将线性回归误差带入并求解概率密度乘积的最大值,进而简化目标函数并求得参数解析公式。文章还提供了代码实现过程。
摘要由CSDN通过智能技术生成

1、广义线性模型的介绍

当一个y可能由多个x决定时,且y与x中有多重线性关系时,我们定义线性回归公式为:

这里写图片描述

在拟合这样的一个拟合一个带有系数 w = (w_1, …, w_M) 的线性模型时,根据MSE,我们使得数据集实际观测数据和预测数据(估计值)之间的残差平方和最小。其数学表达式为:
这里写图片描述

要求出最适合的模型,只需求出MSE(该表达式)的最小值即可
在此,我们引入最大似然估计和中心极限定理的的概念:

最大似然估计是一种统计学方法,它用来求一个样本集的相关概率密度函数的参数。

中心极限定理是谈论随机变量的序列和分布渐进于正态分布的一类定理。(个人理解,就是当一组变量随机抽取且变量之间无关系或关系很小时,他们的分布是近似于正态分布的。)

在此我们再引入正态分布的概率密度函数,所谓概率密度函数,就是变量与拟合成功概率的函数,其中x指变量,y指x拟合成功的概率。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值