写作背景：前段时间看了李航的《统计学习与分析》这本书，受益良多。刚开始一味地以手写的形式记录下来，但是后来觉得这样既不环保也不利于随时查看，因此觉得有必要写成博客与大家分享与讨论。
1.感知机
感知机是二类分类的线性模型，其目标是求得一个能够将训练数据集正实例点和负实例点完全正确分开的分离超平面，如下图所示（L1，L2和L3都可以作为分离超平面）：
感知器模型为：
f ( x ) = s i g n ( w ⋅ x + b ) f(x) = sign(w\cdot x + b) f(x)=sign(w⋅x+b)
其中， w w w和 b b b为感知机模型参数， w ∈ R n w\in R^n w∈Rn叫作权值或权值向量， b ∈ R b\in R b∈R叫作偏置， w ⋅ x w\cdot x w⋅x表示 w w w和 x x x的内积， s i g n sign sign是符号函数。
损失函数
基于误分类点到超平面S的总距离
L ( w , b ) = − ∑ x i ∈ M y i ( w ⋅ x i + b ) L(w,b)= -\sum_{x_i\in M} y_i(w\cdot x_i+b) L(w,b)=−xi∈M∑yi(w⋅xi+b)
其中， M M M是误分类点集合。
目标函数
m i n w , b L ( w , b ) = − ∑ x i ∈ M y i ( w ⋅ x i + b
最低0.47元/天 解锁文章
扫一扫
3022
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
