感知机
感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。感知机旨在求出将训练数据进行线性划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。
感知机模型
- （感知机） 假设输入空间（特征空间）是
X
⊆
R
n
\mathcal{X}\subseteq\bold{R^{n}}
X⊆Rn，输出空间是
Y
=
{
+
1
,
−
1
}
\mathcal{Y}=\{+1,-1\}
Y={+1,−1}。输入
x
∈
X
x\in\mathcal{X}
x∈X表示实例的特征向量，对应于输入空间（特征空间）的点；输出
y
∈
Y
y\in\mathcal{Y}
y∈Y表示实例的类别。由输入空间到输出空间的如下函数
(1) f ( x ) = s i g n ( w ⋅ x + b ) f(x) = sign(w \cdot x + b) \tag{1} f(x)=sign(w⋅x+b)(1)
称为感知机。其中， w w w和 b b b为感知机模型参数， w ∈ R n w\in\bold{R^{n}} w∈Rn叫作权值或权值向量， b ∈ R b\in\bold{R} b∈R叫作偏置， w ⋅ x w\cdot x w⋅x表示 w w w和 x x x的内积，sign是符号函数，即
(2) s i g n ( x ) = { + 1 , x ≥ 0 − 1 , x < 0 sign(x) = \left\{ \begin{array}{ll} +1,&x\geq 0 \\ -1, &x<0 \end{array} \right. \tag{2} sign(x)={+1,−1,x≥0x<0(2)
感知机是一种线性分类模型，属于判别模型。感知机模型的假设空间是定义在特征空间中的所有线性分类模型或线性分类器，即函数集合 { f ∣ f ( x ) = w ⋅ x + b } \{f|f(x) = w \cdot x + b\} {f∣f(x)=w⋅x+b}。
感知机有如下几何解释：线性方程
(3) w ⋅ x + b = 0 w \cdot x + b = 0 \tag{3} w⋅x+b=0(3)
对应于特征空间 R n \bold{R}^n Rn中的一个超平面 S S S，其中 w w w是超平面的法向量， b b b是超平面的截距。这个超平面将特征空间划分为两个部分。位于两部分的点（特征向量）分别被分为正、负两类。因此，超平面 S S S称为分离超平面，如图所示：
感知机学习策略
- 数据集的线性可分性
定义2（数据集的线性可分性） 给定一个数据集
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } , T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\}, T={(x1,y1),(x2,y2),⋯,(xN,yN)},
其中， x i ∈ X = R n , y i ∈ Y = { + 1 , − 1 } , i = 1 , 2 , ⋯   , N x_i\in\mathcal{X}=R^n, y_i\in\mathcal{Y}=\{+1,-1\},i=1,2,\cdots,N xi∈X=Rn,yi∈Y={+1,−1},i=1,2,⋯,N，如果存在某个超平面S
w ⋅ x + b = 0 w\cdot x+b=0 w⋅x+b=0
能够将数据集的正实例点和负实例点完全正确地划分到超平面的两侧，即对所有 y i = + 1 y_i=+1 yi=+1的实例 i i i，有 w ⋅ x i + b > 0 w\cdot x_i+b>0 w⋅xi+b>0，对所有 y i = − 1 y_i=-1 yi=−1的实例 i i i，有 w ⋅ x i + b < 0 w\cdot x_i+b<0 w⋅xi+b<0，则称数据集 T T T为线性可分数据集；否则，称数据集 T T T线性不可分。 - 感知机学习策略： 假设训练数据集是线性可分的，感知机学习的目标是求得一个能够将训练集正实例点和负实例点完全分开的分离超平面。
–损失函数选择的是误分类点到超平面 S S S的总距离，这是感知机所采用的。为此，首先写出输入空间 R n \bold{R}^n Rn中任一点 x 0 x_0 x0到超平面 S S S的距离：
1 ∣ ∣ w ∣ ∣ ∣ w ⋅ x 0 + b ∣ \frac{1}{||w||}|w \cdot x_0+b| ∣∣w∣∣1∣w⋅x0+b∣
这里， ∣ ∣ w ∣ ∣ ||w|| ∣∣w∣∣是 w w w的 L 2 L_2 L2范数。其次，对于误分类的数据 ( x i , y i ) (x_i,y_i) (xi,yi)来说，
− y i ( w ⋅ x i + b ) > 0 -y_i(w\cdot x_i+b) > 0 −yi(w⋅xi+b)>0
这样，假设超平面 S S S的误分类点集合为 M M M，那么所有误分类点到超平面 S S S的总距离为
− 1 ∣ ∣ w ∣ ∣ ∑ x i ∈ M y i ( w ⋅ x i + b ) -\frac{1}{||w||}\sum_{x_i\in M}y_i(w\cdot x_i+b) −∣∣w∣∣1xi∈M∑yi(w⋅xi+b)
不考虑 1 ∣ ∣ w ∣ ∣ \frac{1}{||w||} ∣∣w∣∣1，就得到感知机学习的损失函数。
(4) L ( w , b ) = − ∑ x i ∈ M y i ( w ⋅ x i + b ) L(w,b) = -\sum_{x_i\in M}y_i(w\cdot x_i+b) \tag{4} L(w,b)=−xi∈M∑yi(w⋅xi+b)(4)
显然，损失函数 L ( w , b ) L(w,b) L(w,b)是非负的。如果没有误分类点，损失函数值是0.而且，误分类点越少，误分类点离超平面越近，损失函数值就越小。一个特定的样本点的损失函数：在误分类时是参数 w , b w,b w,b的线性函数，在正确分类时是0。因此，给定训练数据集 T T T，损失函数 L ( w , b ) L(w,b) L(w,b)是 w , b w,b w,b的连续可导函数。
感知机学习算法
感知机学习问题转化为求解损失函数式(4)的最优化问题，最优化的方法是随机梯度下降法。
- 感知机学习算法的原始形式
感知机学习算法是对以下最优化问题的算法。给定一个训练数据集
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\} T={(x1,y1),(x2,y2),⋯,(xN,yN)}
其中， x i ∈ X = R n , y i ∈ Y = { − 1 , ＋ 1 } , i = 1 , 2 , ⋯   , N x_i\in\mathcal{X}=R^n,y_i\in\mathcal{Y}=\{-1,＋1\},i=1,2,\cdots,N xi∈X=Rn,yi∈Y={−1,＋1},i=1,2,⋯,N，求参数 w w w， b b b，使其为以下损失函数极小化问题的解
(5) min w , b L ( w , b ) = − ∑ x i ∈ M y i ( w ⋅ x i + b ) \min_{w,b}L(w,b)=-\sum_{x_i\in M}y_i(w\cdot x_i+b) \tag{5} w,bminL(w,b)=−xi∈M∑yi(w⋅xi+b)(5)
其中 M M M为误分类点的集合。
感知机学习算法是误分类驱动的，具体采用随机梯度下降法。首先，任意选取一个超平民啊 w 0 w_0 w0， b 0 b_0 b0，然后用梯度下降法不断地极小化目标函数(5)。极小化过程中不是一次使 M M M中所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。
假设误分类点集合 M M M是固定的，那么损失函数 L ( w , b ) L(w,b) L(w,b)的梯度由
▽ w L ( w , b ) = − ∑ x i ∈ M y i x i ▽ b L ( w , b ) − − ∑ x i ∈ M y i \triangledown_wL(w,b)=-\sum_{x_i\in M}y_ix_i \\ \triangledown_bL(w,b)--\sum_{x_i\in M}y_i ▽wL(w,b)=−xi∈M∑yixi▽bL(w,b)−−xi∈M∑yi
给出。
随机选取一个误分类点 ( x i , y i ) (x_i,y_i) (xi,yi)，对 w w w， b b b进行更新：
(6) w ← w + η y i x i w\leftarrow w+\eta y_ix_i \tag{6} w←w+ηyixi(6)
(7) b ← b + η y i b\leftarrow b+\eta y_i \tag{7} b←b+ηyi(7)
式中 η ( 0 < η ≤ 1 ) \eta(0<\eta\leq 1) η(0<η≤1)是步长，在统计学习中又称为学习率。这样，通过迭代可以期待损失函数 L ( w , b ) L(w,b) L(w,b)不断减小，直到为0。综上所述，得到如下算法：
算法1（感知机学习算法的原始形式）
输入：训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\} T={(x1,y1),(x2,y2),⋯,(xN,yN)}，其中 x i ∈ X = R n , y i ∈ Y = { − 1 , ＋ 1 } , i = 1 , 2 , ⋯   , N x_i\in\mathcal{X}=R^n,y_i\in\mathcal{Y}=\{-1,＋1\},i=1,2,\cdots,N xi∈X=Rn,yi∈Y={−1,＋1},i=1,2,⋯,N；学习率 η ( 0 < η ≤ 1 ) \eta(0<\eta\leq 1) η(0<η≤1)；
输出： w w w， b b b；感知机模型 f ( x ) = s i g n ( w ⋅ x + b ) f(x)=sign(w\cdot x+b) f(x)=sign(w⋅x+b)。
(1) 选取初值 w 0 w_0 w0， b 0 b_0 b0
(2) 在训练集中选取数据 ( x i , y i ) (x_i,y_i) (xi,yi)
(3) 如果 y i ( w ⋅ x i + b ) ≤ 0 y_i(w\cdot x_i+b)\leq 0 yi(w⋅xi+b)≤0
w ← w + η y i x i b ← b + η y i w\leftarrow w+\eta y_ix_i \\ b\leftarrow b+\eta y_i w←w+ηyixib←b+ηyi
(4) 转至(2)，直到训练集中没有误分类点。
这种学习算法直观上有如下解释：当一个实例点被误分类，即位于分离超平面的错误一侧时，则调整 w w w， b b b的值，使分离超平面向该误分类点的一侧移动，以减少该误分类点与超平面间的距离，直至超平面越过该误分类点使其被正确分类。
算法1是感知机学习的基本方法，对应于后面的对偶形式，称为原始形式。感知机学习算法简单且易于实现。感知机学习算法由于采用不同的初值或选取不同的误分类点，解可以不同。 - 算法的收敛性
现在证明，对于线性可分数据集感知机学习算法原始形式收敛，即经过有限次迭代可以得到一个将训练数据集完全正确划分的分离超平面及感知机模型。
为了便于叙述与推导，将偏置 b b b并入权重向量 w w w，记作 w ^ = ( w T , b ) T \hat w=(w^T,b)^T w^=(wT,b)T，同样也将输入向量加以扩充，加进常数1，记作 x ^ = ( x T , 1 ) T \hat x=(x^T,1)^T x^=(xT,1)T。这样， x ^ ∈ R n + 1 , ∈ ^ R n + 1 \hat x\in R^{n+1},\hat\in R^{n+1} x^∈Rn+1,∈^Rn+1。显然， w ^ ⋅ x ^ = w ⋅ x + b \hat w\cdot\hat x=w\cdot x+b w^⋅x^=w⋅x+b。
定理1（Novikoff） 设训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\} T={(x1,y1),(x2,y2),⋯,(xN,yN)}是线性可分的，其中 x i ∈ X = R n , y i ∈ Y = { − 1 , ＋ 1 } , i = 1 , 2 , ⋯   , N x_i\in\mathcal{X}=R^n,y_i\in\mathcal{Y}=\{-1,＋1\},i=1,2,\cdots,N xi∈X=Rn,yi∈Y={−1,＋1},i=1,2,⋯,N，则
(1) 存在满足条件 ∣ ∣ w ^ o p t ∣ ∣ = 1 ||\hat w_{opt}||=1 ∣∣w^opt∣∣=1的超平面 w ^ o p t ⋅ x ^ = w o p t ⋅ x + b o p t = 0 \hat w_{opt}\cdot\hat x=w_{opt}\cdot x+b_{opt}=0 w^opt⋅x^=wopt⋅x+bopt=0将训练数据集完全正确分开；且存在 γ > 0 \gamma>0 γ>0，对所有 i = 1 , 2 , ⋯   , N i=1,2,\cdots,N i=1,2,⋯,N
(8) y i ( w ^ o p t ⋅ x ^ i ) = y i ( w o p t ⋅ x i + b o p t ) ≥ γ y_i(\hat w_{opt}\cdot\hat x_i)=y_i(w_{opt}\cdot x_i+b_{opt})\geq\gamma \tag{8} yi(w^opt⋅x^i)=yi(wopt⋅xi+bopt)≥γ(8)
(2) 令 R = max 1 ≤ i ≤ N ∣ ∣ x ^ i ∣ ∣ R=\max_{1\leq i\leq N}||\hat x_i|| R=max1≤i≤N∣∣x^i∣∣，则感知机算法1在训练数据集上的误分类次数 k k k满足不等式
(9) k ≤ ( R γ ) 2 k\leq\bigg(\frac{R}{\gamma}\bigg)^2 \tag{9} k≤(γR)2(9)
证明 (1) 由于训练数据集是线性可分的，按照定义2，存在超平面可将训练数据集完全正确分开，取此超平面为 w ^ o p t ⋅ x ^ = w o p t ⋅ x + b o p t = 0 \hat w_{opt}\cdot\hat x=w_{opt}\cdot x+b_{opt}=0 w^opt⋅x^=wopt⋅x+bopt=0，使 ∣ ∣ w ^ o p t ∣ ∣ = 1 ||\hat w_{opt}||=1 ∣∣w^opt∣∣=1。由于对有限的 i = 1 , 2 , ⋯   , N i=1,2,\cdots,N i=1,2,⋯,N，均有
y i ( w ^ o p t ⋅ x ^ i ) = y i ( w o p t ⋅ x i + b o p t ) > 0 y_i(\hat w_{opt}\cdot\hat x_i)=y_i(w_{opt}\cdot x_i+b_{opt})>0 yi(w^opt⋅x^i)=yi(wopt⋅xi+bopt)>0
所以存在
γ = min i { y i ( w o p t ⋅ x i + b ) } \gamma=\min_i\{y_i(w_{opt}\cdot x_i+b)\} γ=imin{yi(wopt⋅xi+b)}
使
y i ( w ^ o p t ⋅ x ^ i ) = y i ( w o p t ⋅ x i + b o p t ) ≥ γ y_i(\hat w_{opt}\cdot\hat x_i)=y_i(w_{opt}\cdot x_i+b_{opt})\geq\gamma yi(w^opt⋅x^i)=yi(wopt⋅xi+bopt)≥γ
(2) 感知机算法从 w ^ 0 = 0 \hat w_0=0 w^0=0开始，如果实例被误分类，则更新权重。令 w ^ k − 1 \hat w_{k-1} w^k−1是第 k k k个误分类实例之前的扩充权重向量，即
w ^ k − 1 = ( w k − 1 T , b k − 1 ) T \hat w_{k-1}=(w_{k-1}^T,b_{k-1})^T w^k−1=(wk−1T,bk−1)T
则第 k k k个误分类实例的条件是
(10) y i ( w ^ k − 1 ⋅ x ^ i ) = y i ( w k − 1 ⋅ x i + b k − 1 ) ≤ 0 y_i(\hat w_{k-1}\cdot\hat x_i)=y_i(w_{k-1}\cdot x_i+b_{k-1})\leq0 \tag{10} yi(w^k−1⋅x^i)=yi(wk−1⋅xi+bk−1)≤0(10)
若 ( x i , y i ) (x_i,y_i) (xi,yi)是被 w ^ k − 1 = ( w k − 1 T , b k − 1 ) T \hat w_{k-1}=(w_{k-1}^T,b_{k-1})^T w^k−1=(wk−1T,bk−1)T误分类的数据，则 w w w和 b b b的更新是
w k ← w k − 1 + η y i x i b k ← b k − 1 + η y i w_k\leftarrow w_{k-1}+\eta y_ix_i \\ b_k\leftarrow b_{k-1}+\eta y_i wk←wk−1+ηyixibk←bk−1+ηyi
即
(11) w ^ k = w ^ k − 1 + η y i x ^ i \hat w_k=\hat w_{k-1}+\eta y_i\hat x_i \tag{11} w^k=w^k−1+ηyix^i(11)
下面推导两个不等式：
(1) (12) w ^ k ⋅ w ^ o p t ≥ k η γ \hat w_k\cdot\hat w_{opt}\geq k\eta\gamma \tag{12} w^k⋅w^opt≥kηγ(12)
由式(11)及式(8)得
w ^ k ⋅ w ^ o p t = w ^ k − 1 ⋅ w ^ o p t + η y i w ^ o p t ⋅ x ^ i ≥ w ^ k − 1 ⋅ w ^ o p t + η γ \begin{aligned} \hat w_k\cdot\hat w_{opt}&=\hat w_{k-1}\cdot\hat w_{opt}+\eta y_i\hat w_{opt}\cdot\hat x_i \\ &\geq\hat w_{k-1}\cdot\hat w_{opt}+\eta\gamma \end{aligned} w^k⋅w^opt=w^k−1⋅w^opt+ηyiw^opt⋅x^i≥w^k−1⋅w^opt+ηγ
由此递推即得不等式(12)
w ^ k ⋅ w ^ o p t ≥ w ^ k − 1 ⋅ w ^ o p t + η γ ≥ w ^ k − 2 ⋅ w ^ o p t + 2 η γ ≥ ⋯ ≥ k η γ \hat w_k\cdot\hat w_{opt}\geq\hat w_{k-1}\cdot\hat w_{opt}+\eta\gamma\geq\hat w_{k-2}\cdot\hat w_{opt}+2\eta\gamma\geq\cdots\geq k\eta\gamma w^k⋅w^opt≥w^k−1⋅w^opt+ηγ≥w^k−2⋅w^opt+2ηγ≥⋯≥kηγ
(2) (13) ∣ ∣ w ^ k ∣ ∣ 2 ≤ k η 2 R 2 ||\hat w_k||^2\leq k\eta^2R^2 \tag{13} ∣∣w^k∣∣2≤kη2R2(13)
由式(11)及式(10)得
∣ ∣ w ^ k ∣ ∣ 2 = ∣ ∣ w ^ k − 1 ∣ ∣ 2 + 2 η y i w ^ k − 1 ⋅ x ^ i + η 2 ∣ ∣ x ^ i ∣ ∣ 2 ≤ ∣ ∣ w ^ k − 1 ∣ ∣ 2 + η 2 ∣ ∣ x ^ i ∣ ∣ 2 ≤ ∣ ∣ w ^ k − 1 ∣ ∣ 2 + η 2 R 2 ≤ ∣ ∣ w ^ k − 2 ∣ ∣ 2 + 2 η 2 R 2 ≤ ⋯ ≤ k η 2 R 2 \begin{aligned} ||\hat w_k||^2&=||\hat w_{k-1}||^2+2\eta y_i\hat w_{k-1}\cdot\hat x_i+\eta^2||\hat x_i||^2 \\ &\leq||\hat w_{k-1}||^2+\eta^2||\hat x_i||^2 \\ &\leq||\hat w_{k-1}||^2+\eta^2R^2 \\ &\leq||\hat w_{k-2}||^2+2\eta^2R^2\leq\cdots \\ &\leq k\eta^2R^2 \end{aligned} ∣∣w^k∣∣2=∣∣w^k−1∣∣2+2ηyiw^k−1⋅x^i+η2∣∣x^i∣∣2≤∣∣w^k−1∣∣2+η2∣∣x^i∣∣2≤∣∣w^k−1∣∣2+η2R2≤∣∣w^k−2∣∣2+2η2R2≤⋯≤kη2R2
综合不等式(12)及式(13)即得
k η γ ≤ w ^ k ⋅ w ^ o p t ≤ ∣ ∣ w ^ k ∣ ∣ ∣ ∣ w ^ o p t ∣ ∣ ≤ k η R k 2 γ 2 ≤ k R 2 \begin{aligned} &k\eta\gamma\leq\hat w_k\cdot\hat w_{opt}\leq||\hat w_k||||\hat w_{opt}||\leq\sqrt k\eta R \\ &k^2\gamma^2\leq kR^2 \end{aligned} kηγ≤w^k⋅w^opt≤∣∣w^k∣∣∣∣w^opt∣∣≤kηRk2γ2≤kR2
于是
k ≤ ( R γ ) 2 k\leq\bigg(\frac{R}{\gamma}\bigg)^2 k≤(γR)2
定理表明，误分类的次数 k k k是有上界的，经过有限次搜索可以找到将训练数据完全正确分开的分离超平面。也就是说，当训练数据集线性可分时，感知机学习算法的原始形式迭代是收敛的。同时，感知机学习算法存在许多解，这些解既依赖于初值的选择，也依赖于迭代过程中误分类点的选择顺序。为了得到唯一的超平面，需要对分离超平面增加约束条件。这就是线性支持向量机的想法。当训练集线性不可分时，感知机学习算法不收敛，迭代结果会发生震荡。 - 感知机学习算法的对偶形式
现在考虑感知机学习算法的对偶形式。对偶形式的基本想法是，将 w w w和 b b b表示为实例 x i x_i xi和标记 y i y_i yi的线性组合的形式，通过求解其系数而求得 w w w和 b b b，不失一般性，在算法1中可假设初始值 w 0 w_0 w0， b 0 b_0 b0均为0。对误分类点 ( x i , y i ) (x_i,y_i) (xi,yi)通过
w ← w + η y i x i w ← b + η y i \begin{aligned} &w\leftarrow w+\eta y_ix_i \\ &w\leftarrow b+\eta y_i \end{aligned} w←w+ηyixiw←b+ηyi
逐步修改 w w w， b b b，设修改n次，则 w w w， b b b关于 ( x i , y i ) (x_i,y_i) (xi,yi)的增量分别是 α i y i x i \alpha_iy_ix_i αiyixi和 α i y i \alpha_iy_i αiyi，这里 α i = n i η \alpha_i=n_i\eta αi=niη。这样，从学习过程不难看出，最后学习到的 w w w， b b b可以分别表示为
(14) w = ∑ i = 1 N α i y i x i w=\sum_{i=1}^N\alpha_iy_ix_i \tag{14} w=i=1∑Nαiyixi(14)
(15) b = ∑ i = 1 N α i y i b=\sum_{i=1}^N\alpha_iy_i \tag{15} b=i=1∑Nαiyi(15)
这里， α i ≥ 0 , i = 1 , 2 , ⋯   , N \alpha_i\geq0,i=1,2,\cdots,N αi≥0,i=1,2,⋯,N，当 η = 1 \eta=1 η=1时，表示第 i i i个实例由于误分而进行更新的次数。实例点更新次数越多，意味着它距离分离超平面越近，也就越难正确分类。换句话说，这样的实例对学习结果影响最大。
下面对照原始形式来叙述感知机学习算法的对偶形式。
算法2（感知机学习算法的对偶形式）
输入：线性可分的数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\} T={(x1,y1),(x2,y2),⋯,(xN,yN)}，其中 x i ∈ R n , y i ∈ { − 1 , + 1 } , i = 1 , 2 , ⋯   , N x_i\in R^n, y_i\in\{-1,+1\},i=1,2,\cdots,N xi∈Rn,yi∈{−1,+1},i=1,2,⋯,N；学习率 η ( 0 < η ≤ 1 ) \eta(0<\eta\leq1) η(0<η≤1)；
输出： α \alpha α， b b b；感知机模型 f ( x ) = s i g n ( ∑ j = 1 N α j y j x i ⋅ x + b ) f(x)=sign\bigg(\sum_{j=1}^N\alpha_jy_jx_i\cdot x+b\bigg) f(x)=sign(∑j=1Nαjyjxi⋅x+b)。其中 α = ( α 1 , α 2 , ⋯   , α N ) T \alpha=(\alpha_1,\alpha_2,\cdots,\alpha_N)^T α=(α1,α2,⋯,αN)T。
(1) α ← 0 \alpha\leftarrow0 α←0， b ← 0 b\leftarrow0 b←0
(2) 在训练集中选取数据 ( x i , y i ) (x_i,y_i) (xi,yi)
(3) 如果 y i ( ∑ j = 1 N α j y j x j ⋅ x i + b ) ≤ 0 y_i\bigg(\sum_{j=1}^N\alpha_jy_jx_j\cdot x_i+b\bigg)\leq0 yi(∑j=1Nαjyjxj⋅xi+b)≤0
α i ← α i + η b ← b + η y i \begin{aligned} &\alpha_i\leftarrow\alpha_i+\eta &b\leftarrow b+\eta y_i \end{aligned} αi←αi+ηb←b+ηyi
(4) 转至(2)直到没有误分类数据。
对偶形式中训练实例仅以内积的形式出现。为了方便，可以预先将训练集中实例间的内积计算出来并以矩阵的形式存储，这个矩阵就是所谓的Gram矩阵
G = [ x i ⋅ x j ] N × N G=[x_i\cdot x_j]_{N\times N} G=[xi⋅xj]N×N
242
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
