多层感知器(MLP)

转自:http://www.voidcn.com/article/p-uwmutaug-bmr.html


一. 简述多层感知器(MLP)

1. 深度前馈网络(deep feedforward network),也叫前馈神经网络(feedforward neuarl network)或者多层感知机(multilayer perceptron,MLP),是典型的深度学习模型。这种模型被称为前向(feedforward)的,是因为信息流过x的函数,流经用于定义f的中间计算过程,最终到达输出y。在模型的输出和模型本身之间没有反馈(feedback)连接。当前馈神经网络被扩展成包含反馈连接时,它们被称为循环神经网络(recurrent neural network)。

2. 隐含层

隐含层是神经网络的一个重要概念,它是指除输入,输出层外,中间的那些层。输入和输出层是对外可见的,成为可视层,而中间层不直接暴露,是模型的黑箱部分,比较难解释,所以一般也叫隐含层。隐含层认为:f()函数为激活函数(activation function),一般有Sigmoid函数或者Tanh函数。

3. 神经网络就是将许多哥单一的“神经元”连接,一个“神经元”的输出就是另一个“神经元”的输入。


4. DL常见问题

(1)过拟合(overfit)

过拟合是指模型预测准确率在训练集上提高,但在测试集上反而下降了,这通常意味着泛化性不好,model只记忆了当前数据的特征,不具备推广能力。

(2)Dropout

dropout可以比较有效地减轻过拟合的发生,一定程度上达到了正则化的效果。大致思想是在训练时,将神经网络某一层的输出节点数据随机丢掉一部分。

(3)参数难以调试

参数难于调试是神经网络的另一大痛点。神经网络到处充满着局部最优,需要反复调试,因此像Adagrad,Adam,Adadelta等自适应方法可以减轻调试参数的负担。

(4)梯度弥散

梯度弥散是另一个神经网络的问题。传统的神经网络训练大多用Sigmoid作为激活函数,但神经网络层数较多时,Sigmoid函数在反向传播中梯度逐渐减小,经过多层的传递后会呈现指数级急剧减小,因此梯度值在传递的前几层就变得非常小了。这时反馈(backward)的参数更新基本不起作用。

(5)ReLU函数

ReLU函数可以解决以上问题。



  • 3
    点赞
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值