虽然都将输出激活到0-1,但softmax更离散,sigmoid更加均衡。在网络学习不到东西时,softmax通常会全部学习到一个类别上,全1。而sigmoid一般导致所有预测都是0.5。对中间的特征层来说,对特征图全部施加一个0.5大小的权重,即使学不好影响也不会很大,但用softmax,如果关键特征学不好,大权重必然会落无用特征上,也就造成了负面影响。且softmax的影响是持续性的,若初始时学不好,很可能导致注意力权重对应的整幅特征图始终都学不好(若初始时给到一个较小的权重,那么网络很可能不再对该组特征的进行学习,即使该特征的学习对最终任务的贡献很大,也很难对网络输出造成影响。
为什么attention机制用sigmoid不用softmax
最新推荐文章于 2024-05-25 23:40:52 发布