1 实例与直观理解
上图中右图可以简化为左图形式,为了对右图的实例进行非线性分类,我们先针对左图尝试逐步建立简单的神经网络(与/或/非/异或/非异或)。
与运算:
在上图AND神经网络中,几个层分别为
[
x
0
x
1
x
2
]
→
[
g
(
z
(
2
)
)
]
→
h
Θ
(
x
)
\begin{bmatrix}x_0 \\ x_1 \\ x_2\end{bmatrix} \rightarrow\begin{bmatrix}g(z^{(2)})\end{bmatrix} \rightarrow h_\Theta(x)
⎣⎡x0x1x2⎦⎤→[g(z(2))]→hΘ(x)。
参数
Θ
(
1
)
=
[
−
30
  
20
  
20
]
\Theta^{(1)}=\begin{bmatrix}-30\:\:20\:\:20\end{bmatrix}
Θ(1)=[−302020]。
或运算:
非运算:
如何构造非运算的神经网络?在
x
1
x_1
x1前面加上一个比偏置单元大得多的负数权值即可。
异或运算:(当且仅当
x
1
!
=
x
2
时
,
X
O
R
才
取
到
1
x_1!=x_2时,XOR才取到1
x1!=x2时,XOR才取到1)
同或运算:(当且仅当
x
1
=
x
2
时
,
X
N
O
R
才
取
到
1
x_1=x_2时,XNOR才取到1
x1=x2时,XNOR才取到1)
神经网络直观理解:
这就是关于神经网络可以计算较复杂函数的某种直观解释。我们知道,当层数很多的时候,你有一个相对简单的输入量的函数作为第二层,而第三层可以建立在此基础上,来计算更加复杂一些的函数,然后再下一层又可以计算再复杂一些的函数。
多层神经网络识别手写数字:
2 神经网络应用于多分类
神经网络分类行人、汽车、摩托和卡车: