一.感知机模型
1.感知机是一种线性分类模型,属于判别模型
二.感知机学习策略
BP算法:
m
i
n
w
,
b
L
(
w
,
b
)
=
−
∑
x
∈
M
y
i
(
w
.
x
i
+
b
)
min_{w,b}L(w,b)=-\sum_{x\in M} y_i(w.x_i+b)
minw,bL(w,b)=−∑x∈Myi(w.xi+b)
▽
w
L
(
w
,
b
)
=
−
∑
y
i
x
i
\bigtriangledown_wL(w,b)= -\sum y_ix_i
▽wL(w,b)=−∑yixi ,
▽
\bigtriangledown
▽代表微分,反向传播就是求导加在变量参数w,b上
▽
b
L
(
w
,
b
)
=
−
∑
y
i
\bigtriangledown_bL(w,b)= -\sum y_i
▽bL(w,b)=−∑yi,进行更新:
w
<
−
w
+
η
y
i
x
i
,
b
<
−
b
+
η
y
i
,
η
是
学
习
率
,
这
样
不
断
迭
代
可
以
将
L
o
s
s
降
为
0
w <- w+\eta y_ix_i,b<- b+\eta y_i,\eta是学习率,这样不断迭代可以将Loss降为0
w<−w+ηyixi,b<−b+ηyi,η是学习率,这样不断迭代可以将Loss降为0