本篇是关于机器学习的第二篇,这一系列的文章主要是参考李航老师的《统计学习方法》一书,以及兼考虑周志华老师的《机器学习》一书
本篇主要讲述的是感知机,需要注意的是与后面的支持向量机(SVM)的比较,尤其是与线性可分的支持向量机之间的比较。
1. 简介
- 感知机是二类分类的线性分类模型
- 将输入空间(特征空间)划分为正负两类的分离超平面
- 属于判别模型
2. 模型
- 参数空间为各维的权重w及额外的偏置b(n+1)
- 其中w为切分超平面的发现,b为切分超平面与原点的距离
3. 策略
- 损失函数为误分类点到超平面的距离
- 距离的分母可以省略的原因
- 误分类点的判断,模型的输出与标注异号即为误分类点
4. 算法
- 随机梯度下降法
- 具体算法
- 参数选择初值
- 从训练集中选择某个样本,若为误分类点,则进行梯度下降
- 以上步骤直至没有误分类点为止
5. 补充
- 原始形式与对偶形式(区别)
(公式及相关图片待补充。。。。。)