感知机
- 权重( w1 w 1 , w2 w 2 …)表示相应输入对于输出重要性的参数
- 神经元的输出为0或1
output={01∑jwjxj≤threshold∑jwjxj>threshold
o
u
t
p
u
t
=
{
0
∑
j
w
j
x
j
≤
t
h
r
e
s
h
o
l
d
1
∑
j
w
j
x
j
>
t
h
r
e
s
h
o
l
d
- w∗x=∑jwjxj w ∗ x = ∑ j w j x j
- b=−threshold b = − t h r e s h o l d
output={01w∗x+b≤0w∗x+b>0
o
u
t
p
u
t
=
{
0
w
∗
x
+
b
≤
0
1
w
∗
x
+
b
>
0
S型神经元
- Input,output(sigmod)可以为浮点数
- σ=11+e−z σ = 1 1 + e − z
-
output=11+exp(−∑jwjxj−b)
o
u
t
p
u
t
=
1
1
+
e
x
p
(
−
∑
j
w
j
x
j
−
b
)
神经网络架构
- input layer, output layer, hidden layer
- 多层网络=> 多层感知器或者MLP
- 前馈神经网络(上一层输出作为下一层输入,没有环路)
- 递归神经网络(具有反馈回路):具有休眠前会在一段有限的时间内保持激活状态的神经元,这种神经元可以刺激其他神经元,使其随后被激活并同样保持一段有限的时间。这样会导致更多的神经元被激活,随着时间的推移,得到一个级联的神经元激活系统。因为一个神经元的输出只在一段时间后而不是即刻影响它的输入,回路并不会引起问题。