算法学习笔记梳理 一

一、生成模型与判别模型

监督学习的目的就是学习一个模型：

监督学习

1  联合概率分布
      假设输入与输出的随机变量X和Y遵循联合概率分布P(X,Y)
      P(X,Y)为分布函数或分布密度函数
      对于学习系统来说，联合概率分布是未知的，
      训练数据和测试数据被看作是依联合概率分布P(X,Y)独立同分布产生的。(X,Y)相互独立并且分布相同
2. 假设空间
      监督学习目的是学习一个由输入到输出的映射，称为模型
      模式的集合就是假设空间（hypothesis space）
      概率模型:条件概率分布P(Y|X), 决策函数：Y=f(X)

监督学习问题的形式化

          
决策函数：
条件概率分布：
生成方法Generative approach 对应生成模型：generative model   

算法举例：朴素贝叶斯法和隐马尔科夫法

判别方法由数据直接学习决策函数f(X)或条件概率分布 P(Y|X)作为预测的模型，即判别模型  Discriminative approach对应discriminative mode  ，

算法举例 ： K近邻法、感知机、决策树、logistic回归模型、最大熵模型、支持向量机、提升方法和条件随机场。

生成模型和判定模型的比较：

	生成模型	判定模型
比较	1.可还原出联合概率分布P(X,Y) 2.生成方法的收敛速度更快. 3.当样本容量增加的时候，学到的 模型可以更快地收敛于真实模型 4.当存在隐变量时，仍可以 使用生成方法	1不能还原出联合概率分布P(X,Y); 2.直接学习到条件概率或决策函数，直接进行预测,往往学习的准确率更高; 3.直接学习Y=f(X)或P(Y|X),可对数据进行各种程度上的抽象、定义特征并使用特征，因 此可以简化学习过程。 4.当存在隐变量时,不能用判别方法

二、回归问题和分类问题：

回归：回归模型是表示从输入变量到输出变量之间映射的函数.回归问题的学习等价于函数拟合。

分类：在监督学习中，当输出变量取有限个离散值时，预测问题便成了分类问题。

上面第一个是分类系统，第二个是预测系统。

回归学习最常用的损失函数是平方损失函数。

平方损失函数 quadratic loss function ：