贝叶斯估计，多元线性回归

前言

本文主题：多元线性回归参数估计
本节讨论方法：贝叶斯估计的推导过程
（ps：主要记录的是学习过程中的一些点，所以可能不会很系统）

主要都是要概率密度函数（pdf）可知（或已知）才能求出参数的估计

一、model，模型

Y=X’β+ε ， ε~N(0,σ^2) 即 yi ~ N ( xi’β ， σ ^2)
也可表述成 y = β0 + xi1β1 + xi2β2 + … + xipβp+ εi

下属模型中不考虑随机误差项 εi

二、似然函数

L=∏(2π)^(-1/2) (σ^2) ^(-1/2) exp{ (-0.5) [(yi-xi’β)/σ] ^2}
=(2π)^(-n/2) (σ^2) ^(-n/2) exp{ (-0.5) σ^(-2) ∑(yi-xi’β) ^2} ①

若用极大似然估计做，则接下来对L求对数，以及对lnL求偏导（分别对未知参数β和σ），后令偏导等于0，即可求出未知参数的估计值。

接下来用贝叶斯估计来求参数，贝叶斯与似然不同在于有一个先验分布，则会在似然的L上加上一部分，下面先说贝叶斯估计的先验分布

三、先验分布

先验分布：即在做这个概率估计之前先假设服从怎样的分布

本节中假设 σ^2 ~ Inv-Gamma(,) (均方服从逆伽玛(IG)分布