神经元模型
激活函数：y=f(x)
f
(
x
)
=
1
1
+
e
−
x
f(x)=\frac{1}{1+e^{-x}}
f(x)=1+e−x1
f
′
(
x
)
=
y
(
1
−
y
)
f'(x)=y(1-y)
f′(x)=y(1−y)
f
(
x
)
=
tanh
(
x
)
=
e
x
−
e
−
x
e
x
+
e
−
x
f(x)=\tanh(x)=\frac{e^x - e^{-x}}{e^x+e^{-x}}
f(x)=tanh(x)=ex+e−xex−e−x
f
′
(
x
)
=
1
−
y
2
f'(x)=1-y^2
f′(x)=1−y2
大量的人工神经元的节点，连接成网状结构
前馈式神经网络：输入—隐藏层—输出层：有向无环图
机制：误差反向传播
模型:
对于样本x，
期望输出t，实际输出z
目标函数：
J
(
w
)
=
1
2
∣
∣
t
−
z
∣
∣
2
=
1
2
∑
k
−
1
c
(
t
k
−
z
k
)
2
J(w)=\frac{1}{2}||t-z||^2=\frac{1}{2}\sum_{k-1}^c(t_k-z_k)^2
J(w)=21∣∣t−z∣∣2=21k−1∑c(tk−zk)2
算法：梯度下降
w
(
m
+
1
)
=
w
(
m
)
+
Δ
w
(
m
)
=
w
(
m
)
−
η
∂
J
∂
w
w(m+1)=w(m)+\Delta w(m)=w(m)-\eta\frac{\partial J}{\partial w}
w(m+1)=w(m)+Δw(m)=w(m)−η∂w∂J
学习步长影响算法的效率
输出层、隐含层、输入层：权重改变
误差传播迭代公式：
991
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
