最小化感知机的损失函数
其中M为误分类点的集合。
感知机学习算法是误分类驱动的,具体采用随机梯度下降法。首先,任意选取一个超平面,然后用梯度下降法不断极小化目标函数,极小化的过程不是一次使M中所有的误分类点的梯度下降,而是一次随机选取一个误分类点使其梯度下降。
假设误分类点M是固定的,损失函数L(w,b)的梯度由以下式子给出。
随机选取一个误分类点,对w, b进行更新:
式中是步长,在统计学习中又称为学习率(learningrate)。这样,通过迭代可以期待损失函数L(w,b)不断减小,直到为0。