小议前馈神经网络（Feedforward Neural Network ）

目录

定义

01 多层感知机（MLP）介绍

02 深度神经网络的激活函数

Sigmoid激活函数

Tanh激活函数

LReLU激活函数

03 深度神经网络的损失函数

均方误差损失函数

交叉熵损失函数

04 多层感知机的反向传播算法

05 神经网络的训练技巧

Data Augmentation

参数初始化

学习率

Dropout原理

Batch Normalization原理

Regularizations（正则化）

Model Ensemble（模型集成）

06 信息传播方程

07 通用近似定理

08 深度卷积神经网络（CNN） 

---

定义

前馈神经网络（feedforward neural network）是一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层．各层间没有反馈。是目前应用最广泛、发展最迅速的人工神经网络之一。研究从20世纪60年代开始，目前理论研究和实际应用达到了很高的水平

——百度百科

 

而深度学习模型，类似的模型统称是叫 深度前馈网络（Deep Feedforward Network），其目标是拟合某个函数f，由于从输入到输出的过程中不存在与模型自身的反馈连接，因此被称为“前馈”。常见的深度前馈网络有：多层感知机、自编码器、限制玻尔兹曼机、卷积神经网络等等。