感知机学习笔记

1、感知机的定义：

本图来自李航老师的统计学习方法
2、感知机是一个线性分类模型，属于判别模型
3、数据集的线性可分性是指存在超平面可将数据点的正负实例点完全正确地划分到超平面两侧。
4、感知机的学习目标是找到一个可以将数据点的正负实例点完全正确分离的超平面。
5、感知机的损失函数是误分类点到超平面的总距离，不用误分类点总数的原因是因为这样定义的损失函数不是连续可导的。
6、感知机学习算法是误分类驱动的。
7、感知机学习算法是基于梯度下降法对损失函数的最优化算法。
8、当训练数据集线性可分时，感知机学习算法是收敛的；当训练数据集线性不可分时，感知机算法不收敛，迭代结果会发生震荡。
9、构造kd树和利用kd树搜索最近邻的方法可以看李航老师统计学习方法第二版的54到57页。