数据挖掘第四节作业

作业一：激活函数sigmoid函数求导过程

 

 作业二：全连接神经网络反向传播算法的推导过程

在这里正好也对第四节课学习的内容做一个整理，不仅仅局限于推导过程

对于全连接神经网络的学习可以分为三大部分：1.对于节点输出值的表示  2.训练过程  3.反向传播算法的推导过程

对于第二部分 的基础就为第三部分，所以需要先整明白第三部分

第三部分过程：反向传播算法的推导过程其实是链式求导法则的应用

 

 对于  的分情况进行求解，分两种情况，一个是对于输出层，另一个是对于隐藏层：

 以上两页完成对神经网络目标函数求导

这是训练过程，因为求导结果分为两部分，所以自然权值更新也分为两部分。