机器学习的一些常识（联合概率分布、模型种类、生成方法与判别方法）

联合概率分布

假设监督学习的输入与输出的随机变量X和Y遵循联合概率分布P(X,Y)，对于学习系统来说，联合概率分布的具体定义是未知的，训练数据和测试数据被看作是依联合概率分布P(X,Y)独立同分布产生的。X和Y具有联合概率分布就是监督学习关于数据的基本假设。

按模型分类

一

• 概率模型
  概率模型是生成模型，一定可以表示为联合概率分布的形式
• 非概率模型
  非概率模型是判别模型

二

• 线性模型
• 非线性模型

三

• 参数化模型
• 非参数化模型

按算法分类

• 在线学习
• 批量学习

按技巧分类

• 贝叶斯学习
• 核方法

统计学习方法三要素

方法 = 模型 + 策略 + 算法

模型：所要学习的条件概率分布或决策函数
策略：按照什么样的准则学习或者选择最优模型。引入损失函数与风险函数的概念。
损失函数度量模型一次预测的好坏，风险函数度量平均意义下模型预测的好坏。
设模型的输入、输出（X,Y）是随机变量，遵循联合分布P(X,Y)，所以损失函数的期望就是
R e x p ( f ) = E p [ L ( Y , f ( X ) ) ] = ∫ X ∗ Y L ( y , f ( x ) ) P ( x , y ) d x d y R_{exp}(f) = E_p[L(Y,f(X))] = \int_{X*Y}L(y,f (x))P(x,y)dxdy R<