感知机(Multilayer Perceptron,MLP)
定义
- 最简单的神经网络
- 基本的前馈神经网络
- 描述了神经网络的基本过程
- 学习传统神经网络的大门
实现思路
- 模拟人脑突触
当满足条件即激活,不满足条件不激活
基本内容
- 函数描述
y = func(x1w1+x2w2+x3*w3…) func 即激活函数,输出0或1 - 图像展示
基本作用
- 解决简单的分类问题(0,1)
因只有一层感知器,故只能解决简单的二分类问题
常见激活函数特性
- 线性
- 非线性
- 饱和性
- 阶跃性
常见激活函数
- sigmoid 函数
- 函数特性:非线性、非阶跃性
- 优点:平滑、易于求导
- 缺点:激活函数计算量大,反向传播求误差梯度时,求导涉及除法;反向传播时,很容易就会出现梯度消失的情况,从而无法完成深层网络的训练。
- ReLU 函数
- 函数特性:线性、非阶跃性
- 优点:更加有效率的梯度下降以及反向传播:避免了梯度爆炸和梯度消失问题;简化计算过程;活跃度的分散性使得神经网络整体计算成本下降
训练方式
- 1、初始化网络权值和神经元的阈值(最简单的办法就是随机初始化)
- 2、前向传播:按照公式一层一层的计算隐层神经元和输出层神经元的输入和输出。
多层感知器
- 多个感知器的排排坐
- 第一层 输入层(3个输入)
- 第二层 多个感知器(8个)
- 第三层 多个感知器(6个)
- 第四层 多个感知器(2个)
多层感知器(ANN)作用
- 能实现更加复杂的分类问题
- 参数学习效率比较低
- 具体实现怎样的复杂的分类:基于分类器的选择和神经网络的层数
多层感知器(ANN)的局限
- 参数学习的比较困难(效率低)