机器学习笔记（7）— 神经网络

1.神经网络

本文主要介绍神经网络定义，前向神经网络的推导，神经网络的特点等。

2.神经网络的定义

人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connection Model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
设计神经网络最初的目的是制造能够模拟大脑的机器。

3.前向神经网络

3.1两层网络

如上图所示为两层神经网络，其中Layer1表示输入层，Layer2表示输出层。两层之间的连接线代表参数θ。虚线部分表示偏置单元，且x0始终等于1，可画可不画，主要取决于是方便。
上图表达的含义为：

3.1三层网络

其中第一层代表输入层，第二层代表隐藏层，第三层代表输出层。a0^{((2))代表第二层的偏置单元。a1}((2))代表第二层的第一个节点， a2^((2))代表第二层第二个节点。
上图表达的含义为：

令：

将方程向量化：

可以得到：

是从第一层开始，一层一层的向后计算，因此这种方式又被叫做正向传播或者前向传播。

4.神经网络的特点

从结构方面看，神经网络具有信息并行处理、信息分布式存储、信息处理单元的互联性等特点；从性能方面看具有非线性、容错性、非精确性等特点；从功能方面看具有自学习、自组织、自适应等特点。

4.1结构特点

1）人工神经网络是由大量简单神经元相互连接构成的并行系统，具有大规模并行性信息处理特性。虽然每个神经元的处理功能十分有限，但是大量神经元的并行活动使网络呈现出丰富的功能并具有较快的速度。
2）结构上的并行性使网络的信息存储必然采用分布方式，即信息不是存储在网络的某个局部，而是分布在网络所有的连接权中。一个神经网络可存储多种信息，其中每个神经元的连接权中存储的只是多种信息的一部分。
3）当需要获得已存储的知识时，神经网络在输入信息激励下采用“联想”的方法进行回忆，因而具有联想记忆功能。神经网络内在的并行性与分布性表现在其信息的存储与处理在空间分布、时间上都是并行的。

4.2性能特点

1）神经元在网络中处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性关系，神经元的广泛互联与并行工作也必然使整个网络呈现出高度的非线性特点。
2）从神经网络的模型结构，可以看出其信息时分布式存储的。信息分布存储的结构特点会使神经网络在两个方面表现出良好的容错性：一方面，由于信息的分布式存储，当网络中部分神经元损坏时不会对系统的整体性能造成影响；另一方面，当输入模糊、残缺或变形的信息时，神经网络能通过联想恢复记忆，从而实现对不完整输入信息的正确识别。
3）神经网络能够处理连续的模拟信号以及不精确的、不完全的模糊信息，因此神经网络给出的是最优解而非精确解。

4.3功能特点

1）自适应性是指一个系统能够改变自身的性能以适应环境变化的能力，它是神经网络的一个重要特性。自适应性包括自学习与自组织两层含义。
2）神经网络的自学习是指当外界环境发生变化时，经过一段时间的训练或感知，神经网络能够通过自动调整网络结构参数，使得对给定输入产生期望的输出，训练是神经网络学习的途径，因此人们经常将学习与训练这两个词混用。
3）神经系统能在外部环境的刺激下按一定规则调整神经元之间的突触连接强度，逐渐构建神经网络，这一构建过程称为网络的自组织 （或称重构）。
4）神经网络的自组织能力与自适应性相关，自适应性是通过自组织实现的。强大的自适应能力大大减少了工作人员的编程工作，使得被解放出来的处理人员有更多的精力去考虑参数的调整对结果的影响，使得更快的改进方法成为可能。

5.神经网络的代价函数

神经网络代价函数：

其中 hθ (x) 是一个K维的向量，
代表第i个输出。