机器学习算法笔记之2：感知机

一、概述

感知机（perceptron）是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。感知机学习旨在求出将训练数据线性划分的分离超平面，引入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。

二、定义

别被分为正、负两类，超平面S称为分离超平面。

感知机学习，由训练数据集（实例的特征向量及类别）求得感知机模型，即求得模型参数w，b。感知机预测，通过学习得到的感知机模型，对于新输入实例给出其对应的输出类别。

三、感知机学习策略

假设训练数据集是线性可分的，感知机学习的目标是求得一个能够将训练集正实例点和负实例点完全分开的分离超平面，即确定感知机模型参数w，b，需要确定一个学习策略，即定义（经验）损失函数并将损失函数极小化。

损失函数的一个选择是误分类点到超平面

四、感知机学习算法

感知机学习算法是误分类驱动的，具体采用随机梯度下降（stochastic gradient descent）。

当一个实例点被误分类，即位于分离超平面的错误一侧时，则调整w，b的值，使分离超平面向该误分类点的一侧移动，以减少该误分类点与超平面间的距离，直至超平面越过该误分类点使其被正确分类。

五、算法的收敛性

对于线性可分数据集感知机学习算法原始形式收敛，即经过有限次迭代可以得到一个将训练数据集完全正确划分的分离超平面及感知机模型。当训练集线性不可分时，感知机学习算法不收敛，迭代结果会发生震荡。