线性分类器之垂直平分分类器以及Fisher数学推导

写在前面：

本文是复习模式识别考试时的第一篇博客，遵照模式识别的本质：分类，来复习，此系利文章按照线性分类器（包括垂直平分、LDA Fisher准则、最小平方误差分类器）、贝叶斯分类器（包括最小错误率、最小风险、正态分布分类器）、非线性分类器（包括KNN、SVM、决策树、集成Bagging与AdaBoosting）、无监督分类器（包括分级聚类、k-means、ISODATA、DBSCAN）、经典神经网络分类器（包括感知器、BP网络、自组织竞争网络）、卷积神经网络的顺序来复习，其中对于LDA，正态分布贝叶斯，SVM，BP算法这几个涉及数学知识较多较难理解的部分都进行了相对细致的推导说明，想理解透彻这几块知识相对不易，需要自己亲手推导理解，由于仅仅仓促复习了三天，对于知识的把握程度还是不深，应付考试尚可，但是距离能项目应用还差距较远，仅在这里记录一下复习的流程，还望读者多多包涵。

线性分类器

垂直平分分类器

简单的线性求解：


判别函数与决策面方程：

决策规则：

垂直平分分类器的特点：

 解决二分类问题的线性分类器

 原则上对样本集无特殊要求

 未采用准则函数求极值解（非最佳决策）

 算法最简单，分类器设计最容易

LDA线性判别准则（Fisher投影准则）

解决高维问题思路：

推导过程：

Flsher投影的特点

 解决两类问题的线性投影

 原则上对样本集无特殊要求（Sw矩阵可逆）

 采用Fisher投影准则函数求极值解（最佳决策）

 分类器设计较容易

感知准则

对于明确的线性可分问题：

对样本集规范化：

定义感知准则函数：

梯度下降法求解极值解（极小值）（迭代的过程）：

感知准则的特点

 解决两类问题的线性分类器

 样本集必须是线性可分的

 采用感知准则函数求极值解（最优决策）

 分类器设计过程复杂

最小错分样本数准则

样本集未必线性可分时存在错分样本：

定义准则函数：

1.（共轭）梯度下降法求极值解

2.搜索算法求极值解

最小错分样本数准则的特点

 解决两类问题的线性分类器

 样本集不限，可以是线性不可分的

 求满足不等式个数最多的权向量（最优）

 分类器设计过程复杂

最小平方误差准则

在工程上实际使用误差平方和最小

定义准则函数：

直接求极值解：

最小平方误差准则的特点

 解决两类问题的线性分类器

 样本集不限，可以是线性不可分的

 求最小平方误差的权向量（最优）

 分类器设计过程相对简单