统计学习方法-李航-第二版-第二章-感知机

第二章 感知机

感知器（英语：Perceptron）是Frank Rosenblatt在1957年就职于康奈尔航空实验室（Cornell Aeronautical Laboratory）时所发明的一种人工神经网络。它可以被视为一种最简单形式的前馈神经网络，是一种二元线性分类器。

感知机是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。
感知机对应于输入控件中将实例划分为正负两类的分离超平面，线性分类模型，属于判别模型。
感知机学习旨在求出将训练数据进行先行划分的分离超平面，为此，导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化球的感知机模型。

感知机模型

直观解释：当一个实例点被误分类时，调整w,b，使分离超平面向该误分类点的一侧移动，以减少该误分类点与超平面的距离，直至超越该点被正确分类。

感知机学习策略
数据集的线性可分性：如果存在某个超平面S:w*x+b=0能够将数据集的正实例点和负实例点完全正确地划分到超平面的两侧，则称数据集为线性可分数据集；否则