这本书的写法真不符合我口味。
判别准则,判别分析 , 其实说的就是分类方法,分类公式。
LDA(Linear Discriminant Analysis)
从概率角度看待这个问题,可以认为分类问题就是知道了x值,求x属于哪一个类别的概率最大的问题,也就是求所有后验概率1,...,k中最大的那一个。
然后比较这K个后验证概率的大小,找最大了。最简单的方法就是两两比较。 比如A-B两者相减大于零 或者 两者相除大于1,下文用的是相除后取对数,判断是否大于0
(2)
若假设每一个类别中的x服从高斯分布,那么就有:
先考虑协方差矩阵相等的情形,这时候(2)式就化为(3)
判断该式是否大于0。 然后观察上式,k,l部分能分离,然后可以等价于
k分别取k与l,然后对减,与(3)式,因此我们只要考虑该式,比大小即可。然后该式就是最终得到的所谓的 线性判别函数了,然后就是实际应用中的LDA算法了。
接下来关于算法具体理论证明以及实现的更详细的部分就去看LDA算法系列吧。
考虑完了特殊情形,再回到一般的情形进行考虑。
就得到了QDA判别准则。