chap3 Linear Models for Regression笔记

1.关于curve fitting的几种方法

问题:给定 N 个样本数据点及其对应的函数值，找出该函数

minimize the sum of squares of error: 假设函数的形式是 y(x,w)，其中 w 是该函数的待估计参数，x 则是 input variable;该方法认为，该函数应该使得平方误差之和最小化:

MLE:假设每个观察到的样本数据点的函数值的 t 是一个以真实的函数 y(x, w)均值的高斯 分布产生的。然后求使似然最大的参数值 w，即完成参数估计。

MAP:与 MLE 类似，不过是求解使后验概率最大的参数值 w。

minimize the sum of squares of error with regularizer:往无regularizer的E(w)加入一个 regularizer，例如:

在以上问题中:
MLE 等价于 minimize the sum of squares of error
MAP 等价于 minimize the sum of squares of error with regularizer (MAP with Gaussian prior)

2.什么是linear model

函数关于参数，而不是 input variable 是线性，则是线性模型。
例如:linear basis function model

这里面，basis function 可以任意的选择，而函数 y(x, w)关于 w 始终是线性的。
Basis function的选择有:
Polynomial, Gaussian, Logistic sigmoid function, Fourier basis, wavelets

3.Loss function for regression，Expected Loss最小化，最佳预测即regression function

4.Frequentist的model complexity理论:Bias-Variance trade-off

5.实际的bias-variance计算

6.Bayesian的model complexity理论:Model evidence/marginal likelihood

7.Bayesian方法