在反向传播中,bias 参数 b 的求法是将当前层的误差按照权值系数的比例分配给每个节点的输入,然后再求和。
具体来说,如果当前层的节点个数为 $n$,输入个数为 $m$,当前层的节点 $i$ 的输入为 $x_1, x_2, \dots, x_m$,当前层的节点 $i$ 的权值系数为 $w_{i,1}, w_{i,2}, \dots, w_{i,m}$,当前层的节点 $i$ 的 bias 为 $b_i$,则可以得到当前层的节点 $i$ 的输出为:
$$y_i = f\left(\sum_{j=1}^{m}w_{i,j}x_j + b_i\right)$$
其中 $f(\cdot)$ 是激