起因:
在学习(广义)线性模型的时候一直有个疑问,就是不明白(广义)线性模型与密度函数的关系,以及怎么运用极大似然估计参数,不知道大家有没有类似的疑问?
正题:
以正态分布为例,已知正态分布的概率密度分布函数如下:
函数中的μ以及σ分别代表均值和标准差,但与线性模型又有什么关系呢?在线性模型里假设因变量方差相同,故标准差σ可以看做一个常数,变的是μ_i,其中i表示第i个样本。以下为线性模型公式,μ_i为线性模型的预测值,a向量为线性模型的参数,此处省略截距项b:
由此代入正态分布的概率密度函数中,可得新的概率函数:
有了以上的概率函数,就能使用极大似然估计,然后使其偏导为0,并求出参数向量a的值。