二、神经网络的结构

本篇博客主要内容参考图书《神经网络与深度学习》，李航博士的《统计学习方法》National Taiwan University (NTU)李宏毅老师的《Machine Learning》的课程，在下文中如果不正确的地方请积极指出。
如果喜欢请点赞，欢迎评论留言 ！ o(￣▽￣)ブ

1. 神经网络的结构

1.1 前馈神经网络的结构示意图

  前馈神经网络的结构如$\color{red}{下图}$所示

$\color{red}{图1.}$ 神经网络结构示意图

  ⽹络中最左边的称为输⼊层（Input Layer），其中的神经元称为输⼊神经元；最右边的是输出层(Output Layer)包含有输出神经元；中间层的神经元既不是输⼊也不是输出，则被称为隐藏层(Hidden Layer)。上⾯的⽹络有多个隐藏层，但有些⽹络仅有⼀个隐藏层。
  由于历史的原因，尽管神经网络是由S型（sigmoid）神经元⽽不是感知器构成，但这种多层⽹络有时被称为多层感知器（Multilayer Perception，MLP）。但是这种叫法会产生歧义，因此不常使用。
  也有⼀些⼈⼯神经⽹络的模型，其中反馈环路是可⾏的，这些模型被称为递归神经⽹络。该模型的关键在于，神经元在变为非激活态之前会在一段 有限时间内均保持激活状态。这种激活状态可以激励其他的神经元，被激励的神经元在随后 一段有限时间内也会保持激活状态。如此就会导致更多的神经元被激活，一段时间后我们将 得到一个级联的神经元激活系统。在这个模型中环路并不会带来问题，因为神经元的输出只 会在一段之间之后才影响到它的输入，它并非实时的。

1.2 前馈神经网络的参数说明

  从$\color{red}{图1.}$中可以看到，每一条连线就是一个权重，因此神经网络中具有十分庞大的参数。

• 神经网络的层数（Layers）
  在$\color{red}{图1.}$中，隐层的层数是L，但是在实际的编程过程中常常将输入层，输出层也计算在网络层数中，因此常常用L表示包含输入、隐藏、输出层在内的所有层数。

• 神经网络的节点数（Nodes）
  每一层中神经元的个数

• 权重（Weights）、偏置（Biases）&加权输入（Weighted Input）
  在神经网络中用 $w_{jk}^{\ l}$ 表示从第 $l-1$ 层的第 $k$ 个神经元到第 $l$ 层的第 $j$ 个神经元的连接的权重；
  用