2.1 感知机-----模型介绍和学习策略
一、模型介绍
感知机是一个二分类的线性分类模型。
线性:模型是线性形式的。
下图输入空间到输出空间的函数就称为感知机
w是法向量,垂直于超平面S。
学习策略其实就是 最小化损失函数,然后求得参数。
2.2感知机-----准备知识:梯度下降法
一、直观理解
每一步都沿着最陡的方向下山。
二、概念
三、原理
2.3感知机------学习算法之原始形式
一、学习问题
寻找使得损失函数最小的参数w,b
二、原始形式
图中蓝色线为对应初始w0,b0所对应的初始超平面
w是旋转程度,b是截距。最后得到的能正确分类的超平面是不唯一的。
三、例题分析
按假设的wb初始值,对于x1,x1是误分类点,故根据x1进行更新参数。
更新参数后,再进行分类。
经检验,x3是误分类点,利用x3进行更新参数,
四、算法的收敛性
2.4感知机-----学习算法之对偶形式
一、对偶形式
给我的感觉是:其实就是从原始形式的基础上,总结原始形式的规律,合成的对偶形式。
再讲讲怎样计算更简便。
x1出现2次,所以n1=2;x2出现0次,所以n2=0,x3出现5次,所以n3=5
二、例题分析
此时,
(因为之前计算的
,这次更新的是α3),
x的下标为几,就更新α几。其他α的不动
四、算法的收敛性
对于一个算法而言,只有该算法是收敛的,该算法才是有效的。
定理(1)说明了超平面的存在性
定理(2)说明了可经过有限次计算能得到
证明
对于划线的等式,等式两边同乘同一个数,等式仍成立,所以能有办法使得左边的那个Wopt的向量的模变为1.
(R/γ)的平方为一个有限值,故k有一个正数的上限。