两层浅层神经网络
第一层中用到的函数
一次线性方程
Z
1
=
W
1.
X
+
b
1
Z1=W1.X+b1
Z1=W1.X+b1
第一层的非线性激活函数为tanh,公式为：
A
1
=
σ
(
Z
1
)
=
e
Z
1
−
e
−
Z
1
e
Z
1
+
e
−
Z
1
A1=\sigma(Z1)=\frac{e^{Z1}-e^{-Z1}}{e^{Z1}+e^{-Z1}}
A1=σ(Z1)=eZ1+e−Z1eZ1−e−Z1
等同于：
A
1
=
t
a
n
h
(
Z
1
)
A1=tanh(Z1)
A1=tanh(Z1)
tanh函数的导数为：
T
′
(
x
)
=
1
−
T
2
(
x
)
T'(x)=1-T^2(x)
T′(x)=1−T2(x)
第二层
一次线性方程
Z
2
=
W
2.
A
1
+
b
2
Z2=W2.A1+b2
Z2=W2.A1+b2
第二层用的激活函数为非线性激活函数sigmoid
sigmoid函数的公式为：
A
2
=
σ
(
Z
2
)
=
1
1
+
e
−
Z
2
A2=\sigma(Z2)=\frac{1}{1+e^{-Z2}}
A2=σ(Z2)=1+e−Z21
等同于
A
2
=
s
i
g
m
o
i
d
(
Z
2
)
A2=sigmoid(Z2)
A2=sigmoid(Z2)
对于sigmoid函数对Z2求导公式为：
f
(
x
)
=
1
1
+
e
−
x
=
(
1
+
e
−
x
)
−
1
f(x)=\frac{1} {1+e^{-x}}=(1+e^{-x})^{-1}
f(x)=1+e−x1=(1+e−x)−1
f
′
(
x
)
=
1
1
+
e
−
x
(
1
−
1
1
+
e
−
x
)
f'(x)=\frac{1}{1+e^{-x}}(1-\frac{1}{1+e^{-x}})
f′(x)=1+e−x1(1−1+e−x1)
=
f
(
x
)
(
1
−
f
(
x
)
)
=f(x)(1-f(x))
=f(x)(1−f(x))
用到的其他函数
1、对数似然损失函数
2、平方差损失函数
1360
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
