Datawhale组队深度学习第四章--前馈神经

Datawhale组队深度学习第四章–前馈神经

神经元模型

神经元（M-P)

1. 在此模型中，每一个神经元都是接受其他的 n 个神经元的信号，将信号与不同神经元的不同权重进行权重加权后求和，若此求和的结果与阈值比较，进行激活函数处理，便可以得到神经元的输出。
2. M-P 模型的逻辑运算
   1. 取反运算
   2. 逻辑或
   3. 逻辑与
3. 网络结构
   1. 分为，输入层，输出层，中间层
      

感知器

感知器

1. 单层感知器。
   1. M-P模型是人为确定参数，而感知器则可以通过训练
      动确定参数。是监督学习。需要设定训练集以及期望输出，然后分析将实际输出和期望输出之间的误差，进而调整参数
   2. 参数调整思路
      1. 如果实际输出和期望输出相等时，权值和阈值不变
      2. 如果实际输出和期望输入不相等时，将权值和阈值进行调整
   3. 单层感知器的特点
      1. 单层感知器只能解决线性***可分*** 问题，无法解决线性***不可分*** 问题，而解决线性不可分问题，则需要多层感知器
   4. 训练过程
      
2. 多层感知器
   1. 概念
      • 多层结构的感知器组成的输入值向前传播的网络，即前馈网络或者正向传播网络
   2. 与M-P模型相同，中间层的感知器通过权重与输入层的各单元相连接，通过阈值函数计算中间层各单元的输出值
   3. 中间层与输出层之间同样是通过权重相连接
      

BP 算法

1. 反向传播算法(Error Back Propagation)

BP算法的基本过程

1. 前向传播计算：由输入层经过隐含层向输出层的计算网络输出
2. 误差反向逐层传递:网络的期望输出与实际输出之差的误差信号由输出层经过隐含层逐层向输入层传递
3. 由“前向传播计算”与“误差反向逐层传递”的反复进行的网络训练 过程
4. BP算法就是通过比较实际输出和期望输出得到误差信号，把误差信号从输出层逐层向前传播得到各层的误差信号，再通过调整各层的连接权重以减小误差。

激活函数

1. 在反向传输算法中调整权重时，一个关键就是激活函数
2. M-P 模型中使用阶跃函数作为激活函数，只能输出 0或 1，不连续所以 不可导
3. 为了使误差能够传播，使用可导函数Sigmoid作为激活函数
   
4. 其他常见的激活函数：ReLU (Rectified Linear Unit，修正线性单元)和tanh