模式识别——第3章 判别函数法

只是应试的个人笔记，不全不详细
$$统计模式识别\{\begin{array}{rl}& 聚类分析法（非监督）\\ & 判别函数法（有监督）\{\begin{array}{rl}& 几何分类法（确定性事件）\{\begin{array}{rl}& 线性判别函数法\\ & 非线性判别函数法\end{array}\\ & 统计决策方法（贝叶斯决策方法，随机事件）\end{array}\end{array}$$

---

统计模式识别:按任务类型划分

聚类分析(Clustering Analysis)——简称:聚类
– 简单聚类方法:最大最小距离法
– 层次聚类方法:分裂式、凝聚式
– 动态聚类方法:C-均值，ISODATA
判别分析(Discriminatory Analysis)——简称:分类
– 几何分类法(判别函数分类法):线性、分段线性、二次、支持向量机
– 概率分类法(统计决策分类法):判别式 (Discriminative)、生成式 (Generative)
– 近邻分类法(几何分类法和概率分类法的一种融合方法)
几何分类法，是指在特征空间中，利用矢量空间的直观概念，使用代数方程方法，对模式进行分类。因此也被称为:代数界面方程法。
概率分类法，是指把模式视为随机变量的抽样，利用统计决策理论 (贝叶斯决策理论)成熟的判决准则与方法，对模式样本进行分类。

$X=(x_1,x_2,\cdot \cdot \cdot ,x_n,1{)}^T$ , $W=(w_1,w_2,\cdot \cdot \cdot ,w_n,w_{n+1}{)}^T$

$$线性判别函数\{\begin{array}{rl}& 两类问题:d(X)=W^{T}X=w_1{x}_1+w_2{x}_2+w_3\{\begin{array}{rl}& >0,X\in w_1\\ & <0,X\in w_2\\ & =0,拒识或随机判决为w_1或w_2\end{array}\\ & 多类问题\{\begin{array}{rl}& w_i|\overline{w_i},仅能区分是否属于w_i，不能排除是否属于w_j(j\ne i),即X可能同时属于多个类。\\ & w_i|w_j,对于任意i和j(i\ne j),判别函数仅能区分w_i和w_j,d_{ij}(X)=-d_{ji}(X),d_{ij}(X)\{\begin{array}{rl}& >0,X\in w_i\\ & <0,X\in w_j\end{array}\\ & w_i|w_j(\forall j\ne i),对于任意i，判别函数能区分w_i和一切其他w_j(\forall j\ne i),d_{ij}(X)=d_i(X)-d_j(X)\end{array}\end{array}$$

---

Fisher线性判别（只能求线性可分）

Fisher准则的基本原理：找到一个最合适的投影 轴，使两类样本在该轴上投影之间的距离尽可能 远，而每一类样本的投影尽可能紧凑，从而使分类效果为最佳。

算法

​ 1）由 $m_i=\frac{1}{N_i}\sum _{X\in w_i}X,i=1,2$，计算 $m_i$。

​ 2）由 $S_{w_i}=\sum _{X\in w_i}(X-m_i)(X-m_i{)}^T$，计算各类的类内离散度矩阵 $S_{w_i},i=1,2$。

​ 3）计算类内总离散度矩阵 $S_w=S_{w_1}+S_{w_2}$。

​ 4）计算 $S_w$ 的逆矩阵 ${S_w}^{-1}$。

​ 5）由 $W^{\ast }={S_w}^{-1}(m_1-m_2)$ 求得 $W^{\ast }$。

---

感知器算法（只能求线性可分）

对样本进行增广规范化，即 $w_1$ 和 $w_2$ 类样本增加一列1，$w_2$ 类样本全部乘以(－1)，则有：
$d(X)=W^{T}X>0$
感知器算法的基本思想：用训练模式验证当前权向量的合理性， 如果不合理，就根据误差进行反向纠正，直到全部训练样本都 被合理分类。本质上是梯度下降方法类。

解决两分类问题算法：

​ 1）给定初始值，置 $k$ =1，初始权向量 $W_k$，选常数 $c>0$，一般 $0<c\le 1$。

​ 2）依次输入样本 $X_k$， X k ∈ { X 1 , X 2 , ⋅ ⋅ ⋅ , X N } X_k\in \{X_1,X_2,···,X_N\} Xk​∈{X1​,X2​,⋅⋅⋅,XN​} 。

​ 3）计算判别函数值：$d(X)={W_k}^T{X}_k$。

​ 4）修改权向量：

​ 若$d(X)={W_k}^T{X}_k>0$，则 $W_{k+1}=W_k$；

​ 若$d(X)={W_k}^T{X}_k<0$，则 $W_{k+1}=W_k+c{X}_k$。

​ 5）令 $k=k+1$，返回2），直到对所有训练样本，不再需要修改权向量，结束。

解决多类问题算法：

​ 设 $M$ 个判别函数为 $d_i(X)={W_i}^{T}X；i=1,2,\cdot \cdot \cdot ,M$。判别规则为：

​ 若 $d_i(X)>d_j(X);j=1,2,\cdot \cdot \cdot ,M;j\ne i$，则 $X\in w_i$。

​ 1）赋初值：分别赋给 $M$ 个权向量 $W_i(i=1,2,\cdot \cdot \cdot ,M)$ 任意的初值，选择正常数 $c$ ，把训练样本变为增广型模式向量，置 $k=1$。

​ 2）输入训练样本 X k , X k ∈ { X 1 , X 2 , ⋅ ⋅ ⋅ , X N } X_k,X_k\in \{X_1,X_2,···,X_N\} Xk​,Xk​∈{X1​,X2​,⋅⋅⋅,XN​}，假定 $X_k\in w_i$。

​ 3）计算 $M$ 个判别函数值：$d_i(X_k)={W_k}^T(k)X_k(i=1,2,\cdot \cdot \cdot ,M)$。

​ 4）修正权向量：

​ 若 $d_i(X_k)>d_j(X_k),j=1,2,\cdot \cdot \cdot ,M;j\ne i,W_i(k+1)=W_i(k)(i=1,2,\cdot \cdot \cdot ,M)$;

​ 若有 $l,1\le l\le M,l\ne i$ 使得 $d_l(X_k)>d_i(X_k)$，则
$$\{\begin{array}{rl}& W_i(k+1)=W_i(k)+c{X}_k\\ & W_l(k+1)=W_l(k)-c{X}_k\\ & W_j(k+1)=W_j(k),j=1,2,\cdot \cdot \cdot ,M;j\ne i,j\ne l\end{array}$$
​ 5）令 $k=k+1$，返回 2）。直到所有的权向量对所有训练样本都稳定不变时结束。

---

最小平方误差算法（LSME）/H·K算法

特点

$\bullet$ 在模式类线性可分时收敛。

$\bullet$ 在线性不可分时可明确指出来。

$\bullet$ 同时利用 $N$ 个样本来进行 $W$ 和 $B$ 的迭代计算，使算法收敛快。

算法

​ 1）初值化：将 $N$ 个分属于两类的样本规范化增广，得矩阵 $X$ 。求 $X$ 的伪逆矩阵 $X^{\#}=(X^{T}X{)}^{-1}{X}^T$。设置正的校正增量 $c$ 和各分量大于零的 $B(1)$，迭代次数 $k=1$，计算 $W(1)=X^{\#}B(1)$。

​ 2）计算 $e(k)=XW(k)-B(k)$，并分以下几种情况：

​ ①若 $e(k)=0$，则模式类线性可分，解为 $W(k)$，算法结束。

​ ②若 $e(k)<0$，则当 $XW(k)>0$ 时，有解 $W(k)$，否则无解，且模式类不是线性可分的，算法结束。

​ ③若 $e(k)>0$ 或 $e(k)$ 的分量值有正有负，则进入3）继续迭代。

​ 3）计算 $W(k+1)$ 和 $B(k+1)$ ：

​ 方法1：
$$\begin{array}{rl}& 先计算W(k+1)=W(k)+c{X}^{\#}|e(k)|\\ & 再计算B(k+1)=B(k)+c[e(k)+|e(k)|]\end{array}$$

​ 方法2：
$$\begin{array}{rl}& 先计算B(k+1)=B(k)+c[e(k)+|e(k)|]\\ & 再计算W(k+1)=X^{\#}B(k+1)\end{array}$$
​ 4）迭代次数 $k$ 加1，转2）。

---

势函数法

概念

点势函数（基函数）：$K(X,X_k)$。

积累势函数（势函数）：$K(X)$。

判别函数由点势函数累加产生。

算法

​ 设初始积累势函数 $K_0(X)=0$，下标为迭代次数。

​ 1）加入训练样本 $X_1$，
$$K_1(X)=\{\begin{array}{rl}& K_0(X)+K(X,X_1),若X_1\in w_1\\ & K_0(X)-K(X,X_1),若X_1\in w_2\end{array}$$
​ $K_1(X)$ 描述了加入第一个样本后的边界划分。

​ 2）加入第二个训练样本 $X_2$，分三种情况：

​ ①若 $X_2\in w_1$ 且 $K_1(X_2)>0$ 或 $X_2\in w_2$ 且 $K_1(X_2)<0$，正确分类，$K_2(X)=K_1(X)$。

​ ②若 $X_2\in w_1$ 但 $K_1(X_2)\le 0$，错误分类，修改势函数：
$$\begin{array}{r}{K}_2(X)=K_1(X)+K(X,X_2)=\pm K(X,X_1)+K(X,X_2)\end{array}$$
​ ③若 $X_2\in w_2$ 且 $K_1(X_2)\ge 0$，错误分类，修改势函数：
$$\begin{array}{r}{K}_2(X)=K_1(X)-K(X,X_2)=\pm K(X,X_1)-K(X,X_2)\end{array}$$
​ ···

​ k）设 $K_k(X)$ 为训练样本 $X_1,X_2,\cdot \cdot \cdot ,X_k$ 后的积累势函数。对第 $k+1$ 个样本，有：

​ ①若 $X_{k+1}\in w_1$ 且 $K_k(X_{k+1})>0$ 或 $X_{k+1}\in w_2$ 且 $K_k(X_{k+1})<0$，正确分类，$K_{k+1}(X)=K_k(X)$。

​ ②若 $X_{k+1}\in w_1$ 但 $K_k(X_{k+1})\le 0$，错误分类，修改势函数：
$$\begin{array}{r}{K}_{k+1}(X)=K_k(X)+K(X,X_{k+1})\end{array}$$
​ ③若 $X_{k+1}\in w_2$ 但 $K_k(X_{k+1})\ge 0$，错误分类，修改势函数：
$$\begin{array}{r}{K}_{k+1}(X)=K_k(X)-K(X,X_{k+1})\end{array}$$
​ 当所有样本扫描处理完后，若在本轮中积累势函数发生过修改，即有分类出错的情况发生过，则 $k$ 值增1，继续进行下一轮循环处理。直到本轮中积累势函数没有发生过修改，算法结束。分类判别函数 $d(X)$ 即积累势函数 $K_n(X)$。

​ 积累位势的修改可写为：
$$\begin{array}{r}{K}_{k+1}(X)=K_k(X)+r_{k+1}K(X,X_{k+1})\end{array}$$
​ 其中，$r_{k+1}$ 为校正项系数，定义为
$$r_{k+1}\{\begin{array}{rl}& 0,X_{k+1}\in w_1且K_k(X_{k+1})>0\\ & 0,X_{k+1}\in w_2且K_k(X_{k+1})<0\\ & 1,X_{k+1}\in w_1且K_k(X_{k+1})\ge 0\\ & -1,X_{k+1}\in w_2且K_k(X_{k+1})\le 0\end{array}$$

参考文章：
https://blog.csdn.net/qq_41409438/article/details/100977632

参考书籍：
《模式识别》吴陈，机械工业出版社