西瓜书学习笔记四：神经网络

神经元模型

• 神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所做出的的交互反映。

• 神经网络中最基本的成分是神经元模型。

• 沿用至今的模型——“M-P神经元模型”，其神经元接受到来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递，神经元接收到的总收入值将与神经元的阈值进行比较，然后通过“激活函数”处理以产生神经元的输出。

• 常用的激活函数——Sigmoid函数（挤压函数），把可能在较大范围内变化的输入值挤压到（0,1）输出值范围内。
  

• 把许多个这样的神经元按一定的层次结构连接起来，就得到了神经网络。

感知机与多层网络

• 感知机由两层神经元组成，输入层接收外界输入信号后传递给输出层，输出层是M-P神经元，亦称“阈值逻辑单元”。

• 感知机能容易地实现逻辑与、或、非运算。

• 要解决非线性可分的问题，需考虑使用多层功能神经元。比如下图中输出层和输入层之间的一层神经元，被称为隐层或隐含层，隐含层和输出层神经元都是拥有激活函数的功能神经元。
  

• 常见的神经网络——“多层前馈神经网络”，每层神经元与下一层神经元完全互连，神经元之间不存在同层连接，也不存在跨层连接。其中输入层神经元接收外接外界输入，隐层与输出层神经元对信号进行加工，最终结果由输出层神经元输出。