PRML 阅读笔记（十一）<4.1>

4 Linear Models for classification

    这一章开始介绍分类问题的线性模型。在具体介绍之前，先介绍几个概念。

    为什么说是线性模型，因为在这一类模型中，决策面是输入向量x的线性函数，这个线性不同于回归模型中的线性，线性回归模型指的是模型是参数的线性函数。什么是“线性可分”？数据集可以被我们前面说的x的线性决策面分开，则称数据集是“线性可分的”。

    在第一章中，曾经介绍过有三种方法可以解决分类问题：1.判别函数 2.直接对p(ck|x)建模(判别模型) 3.对p(x|ck),p(x)分别建模，再利用贝叶斯理论，计算后验概率p(ck|x)。

    这一章前三节分别讲了这三种方法，下面首先进入判别函数的介绍。

4.1 Discriminant Functions

      

4.1.1 Two classes

     先来考虑比较简单的x的分类目标K=2，即只有两类的情况。

     最简单的判别函数当然是取x的线性函数：

     

     当y(x)>=0的时候，把x归为C1类，当y(x)<0的时候，把x归为C2类，所以这里的决策面就是wx+w0=0。作者之后又对此进行了一些