目录
1.2为什么用贝叶斯线性回归
1.2.1最大似然估计(MLE)
目标函数
这里 θ θ 是模型里面的参数, D D 是观测值
优点:计算简单
缺点:容易过度拟合
预测结果是一个固定的值,无法对不确定性建模
1.2.2最大后验(MAP)
目标函数
优点:解决了过度拟合的问题;
缺点:任然没有办法对不确定性建模;
1.2.3 贝叶斯方法
贝叶斯对预测分布建模,
1.2.4 贝叶斯线性模型定义
一组观测数据
D=((x1,y1),(x2,y2),...(xn,yn)),xi∈Rd,yi∈R
D
=
(
(
x
1
,
y
1
)
,
(
x
2
,
y
2
)
,
.
.
.
(
x
n
,
y
n
)
)
,
x
i
∈
R
d
,
y
i
∈
R
Y1,Y2,..Yn
Y
1
,
Y
2
,
.
.
Y
n
对 w独立
Yi∼N(wTxi,a−1)
Y
i
∼
N
(
w
T
x
i
,
a
−
1
)
这里
a=1σ2,a>0
a
=
1
σ
2
,
a
>
0
又被称为精度
w∼N(0,b−1I)
w
∼
N
(
0
,
b
−
1
I
)
,b>0;
这里假设
a,b
a
,
b
是已知的。
1.2.4贝叶斯线性回归的后验分布
为了计算后验分布,我们首先需要似然函数,写为:
这边 A A 是design matrix。
后验分布
1.2.5贝叶斯线性回归的预测分布
预测分布