机器学习（一）：一些常识

1. 生成模型与判别模型

   先给个例子感受一下：

   如果要判断说话者说的哪种语言，我们应该怎么做？

   

   对于输入的数据x，为了得到它的标签y，那么生成模型需要学习联合概率分布，而判别模型需要学习条件概率分布.

   

2. 参数学习与非参学习
3. 参数学习

   

4. 非参学习（并不是没有参数）

   

5. 偏差与方差

   首先定义常规的监督学习模型：

   

   偏差与方差的定义：

   

   用一组实例来理解偏差与方差：

   

   例如：

   如果我们有如下的预测模型：

   

   我们使用平方损失的线性回归来估计的：

   

   因此，在模型学习中可使用偏差和方差进行权衡，下图更直观的展示了偏差与方差的关系：