深度学习(一) 损失函数、输出单元、激活函数、反向传播

本文详细介绍了深度学习中的损失函数,包括线性模型和非凸优化的区别,以及常用的损失函数如交叉熵。接着讨论了输出单元,如线性、sigmoid和softmax等,以及隐藏单元如sigmoid、tanh和ReLU系列。针对ReLU的Dying ReLU问题,介绍了Leaky ReLU和PReLU等解决方案。最后,讲解了反向传播的基本原理,并以两层和多层神经网络为例进行了推导。
摘要由CSDN通过智能技术生成
深度学习(一) 损失函数、输出单元、激活函数、反向传播
深度前馈网络
  1. 概述

    • 线性模型无论是凸优化还是闭式解都可以高效可靠地拟合,而它的缺陷是拟合能力局限于线性函数里,无法理解特征之间的相互作用。
    • 深度学习通过学习特征来优化模型,提高模型的性能。
    • 与线性模型的凸优化从任意初始解都能收敛到最优点不同的是,深度学习的代价函数往往是非凸的,使用梯度来进行模型的优化。这种非凸迭代优化对模型的初值敏感,使用不同的初始值会收敛到不同的点。
  2. 损失函数
    神经网络使用最大似然来进行训练:

    J(θ)=Ex,yp^datalogpmodel(y|x)(1) (1) J ( θ ) = − E x , y ∼ p ^ d a t a l o g p m o d e l ( y | x )

    损失函数必须足够的大、足够的足有代表性,饱和函数的梯度非常的小,不适合作为损失函数
    常用损失函数:交叉熵、l2

  3. 输出单元
    • 线性单元
      y^=WTh+b(2) (2) y ^ = W T h + b

      不易饱和,适合各种优化算法
    • sigmoid 二分类
      y^=σ(wTh+b)(3) (3) y ^ = σ ( w T h + b )
    • softmax 多分类
      z=WTh+b(4) (4) z = W T h + b

      softmax(z)i=ezikezk(5) (5) s o f t m a x ( z ) i = e z i ∑ k e z k
  4. 隐藏单元

    • sigmoid/tanh
      g(z)=σ(z)(6) (6) g ( z ) = σ ( z )

      g(z)=tanh(z)=2σ(2z)1(7) (7) g ( z ) = t a n h ( z ) = 2 σ ( 2 z ) − 1

      σ(x)=ex1+ex=11+ex(8) (8) σ ( x ) = e x 1 + e x = 1 1 + e − x

      σ(x)=σ(x)(1σ(x))(9) (9) σ ( x ) ′ = σ ( x ) ( 1 − σ ( x ) )

      1σ(x)=σ(x)(10) (10) 1 − σ ( x ) = σ ( − x )

      缺点
      a. sigmoid系函数两端扁平,十分易于饱和,simoid求导之梯度值在[0,1/4],易于产生梯度消失。
      b. sigmoid函数的输出不是0均值的,这会导致下一层二等输入信号为非0均值,如果输入神经元是数据是正的,那么计算的梯度全为正数或负数,导致梯度下降锯齿形(之字形)晃动,导致收敛速度缓慢。若梯度是批数据累加的则权值的更新准确一些。
      c. tanh函数的输出是0均值的,在实际应用中比sigmoid好
      d. 非0均值会导致下一层的bias shift。bias shift是指输出的均值比输入的均值大的多。
    • ReLU
      g(z)=max(0,z)(11) (11) g ( z ) = m a x ( 0 , z )

      ReLU单侧抑制,左侧不能学习(Dying ReLU再也没有机会学习),它的优化与线性函数类似。
      什么叫Dying ReLU?
      假设ReL的输入为 zn=ki=0wiani z n = ∑ i = 0 k w i a i n ,经过ReLU后, ReLU=max(0,zn) R e L U = m a x ( 0 , z n ) ,假设一个简单的误差函数 error=ReLUy e r r o r = R e L U − y ,反向传播传回的梯度:
      errorzn=ζn={ 1,0,zn0zn<0(12) (12) ∂ e r r o r ∂ z n = ζ n = { 1 , z n ≥ 0 0 , z n < 0

      权值更新:
      errorwj=errorzn
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值