模式识别与机器学习第六章有监督学习方法

一、有监督学习的概念

 1.概念

        有监督学习：从有标记的训练数据中学习推断函数。

        目标函数：Y=f(X)或P(Y|X)

2.有监督学习方法一: 产生式模型/生成式模型

• 对联合分布的进行推断：p(x,y)=p(y)p(x|y)
• 使用贝叶斯定理计算条件分布p(y|x):
• 利用条件概率密度来预测

3.有监督学习方法二：判别式模型

• 直接估计条件概率分布p(y|x)或条件概率密度函数p(y|x)
• 根据估计的函数确定输出

4.有监督学习方法三：判别函数

        寻找一个函数f(x)，将每个输入直接映射到目标输出。概率不起直接作用：不能直接获取后验概率，f通常旨在近似条件分布p(y|x)

二、回归方法

1.回归问题

 

 2.最小二乘法