模式识别 学习笔记：第四章 线性分类器 (持续更新中。。。)

本系列博客主要是在学习《模式识别（张学工著 第三版）》时的一些笔记。
本文地址：http://blog.csdn.net/shanglianlm/article/details/49621349

1 引言

基于样本直接设计分类器需要三个基本要素：
1. 分类器即判别函数的类型，也就是从什么样的判别函数类中去求解；
2. 分类器设计的目标或准则，确定函数类中的某些待定参数；
3. 如何设计算法利用样本数据搜索到最优的函数参数。

判别函数：
两类：$g(x) = w^{T}x + \omega _{0}$
多类：$g_{i}(x) = w_{i}^{T}x + \omega _{i0}, i = 1, 2, \cdots, c$

决策规则
$g(x) = g_{1}(x) - g_{2}(x)$
则

2 线性判别函数的基本概念

3 Fisher 线性判别分析

把线性分类器的设计分类两步
1. 确定最优方向
2. 在这个方向上确定分类阈值。

思想：选择投影方向，是投影后两类相隔尽可能远，而同时每一类内部的样本又尽可能聚集。

4 感知器

5 最小平方误差判别（线性不可分样本集）

伪逆法求解：

梯度下降法求解：

6 最优分类超平面与线性支持向量机

7 多类线性分类器