前馈神经网络学习笔记

前馈神经网络（全连接神经网络）

1、 概念及组成
前馈神经网络：每层神经元与下层神经元相互连接，神经元之间不存在同层连接，也不存在跨层连接。

 

组成：输入层、隐藏层、输出层
常用神经元：M-P神经元

 

2、 常见的激活函数
Sigmoid函数、tanh函数、ReLu函数
激活函数常有的性质：

非线性
可微性
单调性
f ( x ) ≈ x f(x)approx xf(x)≈x
输出值范围
计算简单
归一化 ：要把你需要处理的数据经过处理后（通过某种算法）限制在你需要的一定范围内

sigmoid函数

l

双曲正切函数（tanh函数）

ReLU函数

 

3、训练
没有隐藏层的神经网络，称为感知机。感知机的训练过程见下：

 

 对于包含隐藏层的神经网络，通常使用BP算法（误差逆传播算法）进行训练：

 假定隐藏层和输出层的激活函数为sigmoid函数。各项参数设定如下：

 

 其中g i 为：输出层神经元的梯度项。同理，由链式法则可以推出：