本文详细介绍了多层感知机（MLP）的前向传播、激活函数、损失函数和误差反向传播过程。在前向传播中，涉及加权求和与神经元输出值的计算。激活函数选用Sigmoid，损失函数采用误差平方和。在反向传播中，通过梯度下降更新权重，包括输出层和隐藏层权重的更新规则。对于有多个隐藏层的情况，同样遵循类似的更新原则。
i i i作为上一层神经元的下标，或者是输入层节点
j j j作为当前层神经元的下标，或者是隐藏层神经元
k k k作为下一层神经元的下标，或者是输出层神经元
i , j , k i,j,k i,j,k表示不同层的相对关系： i → j → k i\rightarrow j\rightarrow k i→j→k
w i j w_{ij} wij表示上一层各神经元到当前神经元的权重，也就是神经元 j j j的权重
w j k w_{jk} wjk表示当前神经元与下一层各神经元的权重，也就是神经元 k k k的权重
前向传播
加权求和 h h h
h j = ∑ i = 0 M w i j x j h_j=\sum_{i=0}^Mw_{ij}x_j hj=i=0∑Mwijxj
- h j h_j hj表示当前节点的所有输入加权之和
神经元输出值 a a a
a j = g ( h j ) = g ( ∑ i = 0 M w i j x i j ) a_j=g(h_j)=g(\sum_{i=0}^Mw_{ij}x_{ij}) aj=g(hj)=g(i=0∑Mwijxij)
- a j a_j aj表示隐藏层神经元的输出值
- g ( ) g() g()代表激活函数， w w w是权重， x x x是输入， w 0 j x 0 j w_{0j}x_{0j} w0jx0j表示偏移节点（bias node）
- a j = x j k a_j=x_{jk} aj=xjk，即当前层神经元的输出值，等于下一层神经元的输入值
输出层的输出值 y y y
y = a k = g ( h k ) = g ( ∑ i = 0 M w j k x
最低0.47元/天 解锁文章
1393
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
