1、准备样本
在一个复杂的网络中，我们准备一定数量的用来训练的 x 向量，可以是文本，可以是 图片，可以是音频，甚至可以是音视频结合的更为复杂的训练样本，当然只要是输入到网 络中作为训练样本的一定是向量化的。
2、清洗处理
在放人网络进行训练之前，需要进行一定处理，处理的目的是为了帮助网络更高效、更准确地做好分类。
3、正式训练
根据网络中两个神经元的表达式描述：
z
h
=
w
h
x
+
b
h
,
y
h
=
1
1
+
e
−
z
h
z_{h}=w_hx+b_h,y_h=\dfrac{1}{1+e^{-z_h}}
zh=whx+bh,yh=1+e−zh1
z
o
=
w
o
y
h
+
b
o
,
y
o
=
1
1
+
e
−
z
o
z_{o}=w_oy_h+b_o,y_o=\dfrac{1}{1+e^{-z_o}}
zo=woyh+bo,yo=1+e−zo1
x
1
x_1
x1一旦代入后，就会是这样一个映射关系：
z
h
1
=
w
h
x
1
+
b
h
,
y
h
1
=
1
1
+
e
−
z
h
1
z_{h1}=w_hx_1+b_h,y_{h1}=\dfrac{1}{1+e^{-z_{h1}}}
zh1=whx1+bh,yh1=1+e−zh11
z
o
1
=
w
o
y
h
1
+
b
o
,
y
o
1
=
1
1
+
e
−
z
o
1
z_{o1}=w_{o}y_{h1}+b_o,y_{o1}=\dfrac{1}{1+e^{-z_{o1}}}
zo1=woyh1+bo,yo1=1+e−zo11
由
x
1
,
y
1
x_1,y_1
x1,y1带来的误差值可以定义了
L
o
s
s
1
=
(
y
o
1
−
y
1
)
2
Loss_1=(y_{o1}-y_1)^2
Loss1=(yo1−y1)2
由10个训练数据共同带来的误差值就变成了：
L
o
s
s
=
∑
i
=
1
10
(
y
o
1
−
y
1
)
2
Loss=\sum^{10}_{i=1}(y_{o1}-y_1)^2
Loss=i=1∑10(yo1−y1)2也就是需要更新以下四个表达式：
(
w
h
)
n
=
(
w
h
)
n
−
1
−
η
∂
L
o
s
s
∂
w
h
(w_h)^n=(w_h)^{n-1}-\eta\dfrac{\partial Loss}{\partial w_h}
(wh)n=(wh)n−1−η∂wh∂Loss
(
b
h
)
n
=
(
b
h
)
n
−
1
−
η
∂
L
o
s
s
∂
b
h
(b_h)^n=(b_h)^{n-1}-\eta\dfrac{\partial Loss}{\partial b_h}
(bh)n=(bh)n−1−η∂bh∂Loss
(
w
o
)
n
=
(
w
o
)
n
−
1
−
η
∂
L
o
s
s
∂
w
o
(w_o)^n=(w_o)^{n-1}-\eta\dfrac{\partial Loss}{\partial w_o}
(wo)n=(wo)n−1−η∂wo∂Loss
(
b
o
)
n
=
(
b
o
)
n
−
1
−
η
∂
L
o
s
s
∂
b
o
(b_o)^n=(b_o)^{n-1}-\eta\dfrac{\partial Loss}{\partial b_o}
(bo)n=(bo)n−1−η∂bo∂Loss
首先将
L
o
s
s
=
∑
i
=
1
10
(
y
o
1
−
y
1
)
2
  
⟹
  
L
o
s
s
=
1
2
∑
i
=
1
10
(
y
o
1
−
y
1
)
2
Loss=\sum^{10}_{i=1}(y_{o1}-y_1)^2\implies Loss=\frac{1}{2}\sum^{10}_{i=1}(y_{o1}-y_1)^2
Loss=i=1∑10(yo1−y1)2⟹Loss=21i=1∑10(yo1−y1)2
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
