李航《统计学习方法》学习笔记——ch2感知机

2.感知机

定义：感知机（perceptron）是二分类线性分类模型，其输入为实例的特征向量，输出为实例的类别，取$+1$和$-1$二值，属于判别模型。
给定一个数据集
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\{ (x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\} T={ (x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)} 其中， x i ∈ X = R n , y i ∈ Y = { + 1 , − 1 } , i = 1 , 2 , ⋯   , N x_i\in\mathcal{X}=R^n,y_i\in \mathcal{Y}=\{+1,-1\},i=1,2,\cdots,N xi​∈X=Rn,yi​∈Y={ +1,−1},i=1,2,⋯,N

• 补充知识

  • ${\ell }_p$范数
    ${\ell }_p$范数表示一组范数：
    $${\ell }_p=||x|{|}_p=\sqrt[p]{\sum _{i=1}^n{x}_i^p},x=(x_1,x_2,\cdots ,x_n)$$ 常见范数：
    （1）${\ell }_0$范数：即表示向量$x$中非零元素的个数。$${\ell }_0=||x|{|}_0$$
    （2）${\ell }_1$范数：即表示向量$x$中元素的绝对值之和。$${\ell }_1=||x|{|}_1=\sum _{i=1}^n|x_i|$$
    （3）${\ell }_2$范数：即表示向量$x$中元素的平方和再开方（坐标点到原点的欧几里和距离）。$${\ell }_2=||x|{|}_2=\sqrt[2]{\sum _{i=1}^n{x}_i^2}$$注意:$||x||$表示${\ell }_2$范数，只是把2省略了。

  • 超平面
    超平面是比所研究的环境空间低一个维度的子空间。例如二维空间平面，超平面就是一条直线。三维空间，超平面就是一个平面。
    超平面方程：$w\cdot x+b=0$,表示二维空间中的一个超平面，即对应一条直线。
    点与超平面的关系：
    $$x在平面S的\{\begin{array}{l}正面,w^T\cdot x+b>0\\ 平面上,w\end{array}$$