深度学习 -- 神经网络 1

---

1. 人体神经网络

上图为人体的神经网络，其工作原理：

• 外部刺激通过神经末梢，转化为电信号，转导到神经细胞（又叫神经元）。
• 无数神经元构成神经中枢。
• 神经中枢综合各种信号，做出判断。
• 人体根据神经中枢的指令，对外部刺激做出反应。

随着神经网络的发展，现在已经不再使用上面的示例解释目前的神经网络了。这是因为现在的神经网络有反向传播的过程，但这个在人体的神经网络是没有这个过程的。

2. 神经网络架构

上图为一个简单的神经网络，每个圆圈代表一个神经元。最左侧为输入层，该层的神经元成为输入单元，最右侧的为输出层，该层神经元为输出单元，中间的层统称为隐藏层，这些层的单元称为隐藏单元。该网络为3层神经网络（输入层不记入网络层数）。

下面根据几个简单的实例来看下神经网络的工作过程。但在此之前，需要先介绍下神经网络中常用的参数：

2.1 神经网络参数

General comments:

• superscript $(i)$ will denote the $i^{th}$ training example while superscript $[l]$ will denote the $l^{th}$ layer

Sizes

• $m$ : number of examples in the dataset
• $n_x$ : input size
• $n_y$ : output size
• $n_h^{[l]}$ : number of hidden unites of the $l^{th}$ layer
• $L$ : number of layers in teh network

Objects

• $X\in R^{n_x\times m}$ : is the input matrix
• $x^{(i)}\in R^{n_x}$ : is the $i^{th}$ example represented as a column vector
• $Y\in R^{n_x\times m}$ : is the label matrix
• $y^{(i)}\in R^{n_x}$ : is the output label for the $i^{th}$ example
• W