BP神经网络小结

1、逻辑回归

     理解逻辑回归是理解BP神经网络的关键,逻辑回归相当于是BP神经网络的最后一层,也就是输出层(BP神经网络用于二分类问题)。下面给出逻辑回归的简单推导过程:

公式中已经默认Z=WX+b,损失函数使用交叉熵损失函数


修正:W导数中的X应该增加转置

上面推导假设一次训练一个样本,如果训练多个样本,最后公式略有不同。由于求导、链式法则的应用都是Element-Wise的,所以求导推导过程基本一样。不再重新写,把最后结果写一下:


由COST函数很容易可以推导出新的梯度方程。可以得到结论是,使用多个样本同时训练得到的梯度是多个样本计算得到的平均,所以使用多个样本同时计算(批量SGD),具有滤除噪声的作用。

2、BP神经网络的前向传播

前向传播很简单,无外乎就是多次迭代Z=WX+b这个简单线性方程,只不过在输出都增加了激活函数。

激活函数的作用:

    激活函数的作用是引入非线性,使得网络可以拟合非线性决策面。设想一下如果没有激活函数,则整个网络就变成了Z=W3(W2(W1X+b1)+b2)+b3=W3W2W1X + W3W2b1 + W3b2 + b3,这与Z=WX+b没什么不同,所以如果没有激活函数,无论网络由多深,都与简单的线性回归没有区别。

向量化

       把神经网络从一次计算一个样本改进为 一次性计算多个样本的过程,称为向量化的过程,这个过程其实很简单。需要明确的一点是,所有的输入都是列向量,比如输入可以有10个样本,每个样本有4个特征,于是输入X的维度为(4,10)。对于l层也是如此(l层的输出就是l+1层的输入)。向量化的本质不过是将多个计算结果按行堆叠在一起,m个样本同时进行计算,最后X,A,Z都由原来的一列变为m列。反向传播时候,计算本身其实是每一个样本单独进行的,只是在计算dW和db的时候使用了平均值,否则多个样本同时计算将没有意义。

BP神经网络结构:

这是一个3层神经网络,输出使用了sigmoid激活函数


前向传播过程如下(其实就是Linear+Activation的不断重复)


BP神经网络反向传播:

    为了计算每一层的W和b,我们需要从后向前计算导数,利用链式求导法则,一步步向前推导,本质上是很简单的:


每一次迭代都会计算出下一次迭代所需要的dA_[l-1],但是dA到dZ的计算这里只给出了L层的,因为L层明确使用了sigmoid激活函数(二分类时)。不过dA到dZ是Element-Wise的,所以很简单(因为前向传播的时候也是一个个元素计算的嘛,反向传播求导数的时候也是一个个计算的)。一般激活函数有Relu、sigmoid、tanh等,不再展开。

总结

       BP神经网络的关键在于理解激活函数和反向传播,如果没有理解这两点,就等于没有理解BP神经网络,理论上BP神经网络的深度可以很深,可以拟合十分复杂的高维非线性决策面。链式求导法则和向量化的理解也十分重要,如果没有理解这些,编程的时候会遇到很大的麻烦。

    最后还是强调性地记录一下:样本特征和神经元都是按列分布的,一列表示一个样本(层),一般一次性计算m列,能够加速计算过程。



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值