感知机
1. 感知机模型
定义:假设输入空间(特征空间)是 χ ⊆ R n \chi\subseteq R^n χ⊆Rn,输出空间是 Y = { + 1 , − 1 } Y=\{+1,-1\} Y={
+1,−1}。输入 x ∈ χ x\in \chi x∈χ表示实例的特征向量,对应于输入空间的点;输出 y ∈ Y y\in Y y∈Y表示实例的类别。由输入空间到输出空间的如下函数
f ( x ) = s i g n ( w ⋅ x + b ) f(x)=sign(w\cdot x+b) f(x)=sign(w⋅x+b)
称为感知机。其中, w w w和 b b b为感知机模型参数, w ∈ R n w\in R^n w∈Rn叫做权值, b ∈ R b\in R b∈R叫做偏置, w ⋅ x w\cdot x w⋅x表示 w w w和 x x x的内积。 s i g n sign sign为符号函数。
2. 感知机学习策略
2.1数据集的线性可分性定义:
给定一个数据集
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯ , ( x n , y n ) } , T = \{(x_1,y_1),(x_2,y_2),\cdots,(x_n,y_n)\}, T={
(x1,y1),(x2,y2),⋯,(xn,yn)},
其中, x i ∈ χ = R n , y i ∈ Y = { + 1 , − 1 } , i = 1 , 2 , ⋯ , N , x_i\in\chi=R^n,y_i\in Y=\{+1,-1\},i=1,2,\cdots,N, xi∈χ=Rn,yi∈Y={
+1,−1