神经网络模型

一． 概述

通过上篇对神经网络组成部分的分析，本篇的内容是基于上篇内容的继承(上篇内容详见：神经网络的组成)。如果从结构上讲，神经网络就是由很多个单一的神经单元组合到一起,这里面的一个神经单元的输出就可以是另一个神经单元的输入，每一个神经元有着各自的功能，通过将这些功能各异的神经元有序组合，就可以构成结构不同、用途不同的神经网络。例如,图1就是一个简单的人工神经网络。

图1：神经网络图

二． 神经网络模型

对于图1神经网络图的解释，我们使用小圆圈来表示神经网络要接受的信号,标上的圆圈中的＋1被称为偏置节点(bias)。神经网络最左层用于接受的外部的信息，所以被称为输入层,最右层是经过神经网络处理后最终的输出，也被称为输出层(本例中,输出层只有一个节点)。中间所有节点组成的一层用于变换计算，但看不到具体计算过程，被称为隐藏层,因为我们无法在训练样本集中观测到它们的值。同时也可以看到,以上神经网络的例子中有3个输入单元(维度为3,偏置单元不计在内)，3个隐藏单元及一个输出单元。

在这里,我们用Lx来表示网络总共有几层,本例中很显然x=3,同时,我们将第1层记为L1,则L1为输入层,L3为输出层。本例的神经网络有训练参数(W,b),其中(W1,b1,W2,b2)其中W1是第l层第j单元与第l+1层的第i单元之间的连接参数,bi则