Less is More

挫其锐,解其纷;和其光,同其尘

03-二次准则函数及其求解(一般情况下的判别函数)

对于两类问题,设n+1维增广训练模式\(x_1 \,\, x_2 ... x_N\)已经符号规范化
如果训练模式是线性不可分,不等式组没解。目标:最少的训练模式被错分
N维余量矢量b>0
不等式方程组:\( Xw \leq b > 0\) 要使尽可能多的不等式被满足
其中\( X = \begin{bmatrix} x_1^T\\ x_2^T\\.\\.\\.\\x_N^T \end{bmatrix}\)

如果训练模式是线性可分的,则不等式\(w^T x_i > 0\) (x=1,2...N)

1. 分段二次准则函数及共轭梯度法

分段二次准则函数:\( J(w) = \left \|  (Xw-b) - \left |(Xw-b)\right | \,\,\right \| ^2 \)
使\( J(w^*) \)取最小值的最优解 \(w^*\)
(1)在线性模式可分的情况下,使\( J(w^*) = 0\), 表明\(w^*\)构造的判别函数对所有模式均能正确分类
(2)在线性模式不可分的情况下,使\( J(w^*) > 0\), 使\(w^*\)误分模式最小
采用共轭梯度法求解最优解

2. 最小方差准则及W-H算法

针对等式方程组:\( Xw= b \) 
方差准则函数:\( J(w) = (Xw-b)^T(Xw-b) = \sum_{i=1}^{N} (w^T x_i -b_i)  \to min\)
采用做优化技术搜索J(w)极小值点以求解不等式方程组
(1)如果方程有唯一解,极小值点即是该点,线性可分
(2)如果方程无解,极小值点是最小二乘解。
(1)伪逆法(广义逆、M-P逆)- 计算量大很少用
(2)梯度法(Widrow—Hoff算法)
\( \bigtriangledown J(w) = 2X^T(Xw-b)\)
\( w(k+1) = w(k) - \rho_k X^T(Xw(k)-b) \)
\( w(k+1) = w(k) - \rho_k (b_k - w^T(k) x_k ) x_k \)

3. H-K(Ho-Kakhyap)算法

平方误差准则函数:\( J(X,w,b) = \left \| Xw-b \right \| ^2 =  \sum_{i=1}^{N} (w^T x_i -b_i)  \to min\)
准则函数\( J(\cdot)\)视为w和b的函数
(1)若\( Xw(k) - b(k) <= 0, 则 \beta (k) = 0\)
(2)若\( Xw(k) - b(k) > 0, 则 \beta (k) = -\rho \bigtriangledown_b J(\cdot) = -2\rho [Xw(k)-b(k)] \)
b(k)的迭代公式为:\( b(k+1) = b(k) - \rho \bigtriangledown_b J(\cdot) = b(k) + \beta (k)\),其中 \(\bigtriangledown_b J(\cdot) = -2(Xw-b), \,\, \rho>0 \)
记误差矢量:\( e(k) = Xw(k)-b(k) \)
由此\(\beta(k)\)可以统一写成:\(\beta(k) = \rho [ e(k) + \left | e(k) \right | ] \)
由于\(w= (X^T X)^{-1} X^T b = X^+b\)
从而w的迭代公式:\( w(k+1) = X^+b(k+1) = X^+ b(k) + X^+ \beta(k) = w(k) + X^+ \beta(k)\)

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。http://blog.csdn.net/k_shmily https://blog.csdn.net/k_shmily/article/details/51852784
个人分类: PR
想对作者说点什么? 我来说一句

H-K算法仿真报告(模式识别)

2018年05月07日 0B 下载

没有更多推荐了,返回首页

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭