对3层神经网络结构推导,求出它的参数,以及每层需要计算的参数和数量。
说明:本次总结的图片来自周志华老师的课件。
单个节点的神经元
图中给出了输入到某一个隐藏层单一节点的过程
一个完整的神经网络结构如下:
整体结构:
输入层节点 d 个,隐藏层节点q 个,输出层节点 l 个各层的权重定义如下:
输入层到隐藏层:V
vih 表示 第 i 个输入层节点 ——> 第h 个隐藏层节点
隐藏层到输出层: W
whj 表示第 h 个隐藏层节点 ——> 第j 个输出层节点各层的值
第 h 个隐藏层的输入定义如下:
αh=∑i=1dvihxi 第 j 个输出层神经元的输入定义如下:
βj=∑h=iqwhjbh
对于给定的数据集 (x1,y1),(x2,y2),...,(xn,yn)
全局的均方误差为:
对于第 k 个样本在输出层的第
y^kj
那么,对于一个样本来说,整体的均方误差为:
Ek=12∑j=1l(y^kj−ykj)2
参数的更新
基于梯度下降法来进行更新:
激活函数为
f
这里
学习率为
η
对权重 w 和