统计学习方法中的知识点

1、在第2章 感知机  中：

①、为什么叫超平面：

分割平面：在三维XYZ坐标系里，XoY平面把三维坐标系“分割”成两个空间，XoY平面就是一个分割平面。

分割平面可以推广到一维、二维、四维......维空间中，此时把分割平面称为“超平面”。在一维空间里，超平面是一个点；在二维空间里，超平面是一条线；三维空间里是一个平面；四维及四维以上就没法用几何表示，但统称为“超平面”。

引自：为啥叫超平面

②、w为啥是法向量：

高中数学知识。

面的法向量，就是与平面垂直的一个向量，它就是由平面方程中三个未知数的系数所组成的向量。
      它们的关系可如此证明：
      设向量（A,B,C)是一个过点(x0,y0,z0)的一个法向量，则它与平面上的所有向量均垂直。平面上的向量均可表示为：(x-x0,y-y0,z-z0)，因为向量（A,B,C)与向量(x-x0,y-y0,z-z0)垂直，所以其数量积为0，即：A(x-x0)+B(y-y0)+C(z-z0)=0
      整理得：Ax+By+Cz+D=0

      可见，标准方程中，三个未知数的系数所组成的向量(A,B,C)，就是平面的一个法向量。

引自：w为啥是法向量

2、生成模型与判别模型的区分：

假设你现在有一个分类问题，x是特征，y是类标记。用生成模型学习一个联合概率分布P（x，y），而用判别模型学习一个条件概率分布P（y|x）。用一个简单的例子来说明这个这个问题。假设x就是两个（1或2），y有两类（0或1），有如下如下样本（1，0）、（1，0）、（1，1）、（2，1）则学习到的联合概率分布（生成模型）如下：

-------0------1----

--1-- 1/2---- 1/4     

--2-- 0 ------1/4

而学习到的条件概率分布（判别模型）如下：

-------0------1----

--1-- 2/3---  1/3      

--2--  0---     1

在实际分类问题中，判别模型可以直接用来判断特征的类别情况，而生成模型，需要加上贝耶斯法则，然后应用到分类中。但是，生成模型的概率分布可以还有其他应用，就是说生成模型更一般更普适。不过判别模型更直接，更简单。

摘自： 生成模型与判别模型