为什么attention机制用sigmoid不用softmax

虽然都将输出激活到0-1，但softmax更离散，sigmoid更加均衡。在网络学习不到东西时，softmax通常会全部学习到一个类别上，全1。而sigmoid一般导致所有预测都是0.5。对中间的特征层来说，对特征图全部施加一个0.5大小的权重，即使学不好影响也不会很大，但用softmax，如果关键特征学不好，大权重必然会落无用特征上，也就造成了负面影响。且softmax的影响是持续性的，若初始时学不好，很可能导致注意力权重对应的整幅特征图始终都学不好（若初始时给到一个较小的权重，那么网络很可能不再对该组特征的进行学习，即使该特征的学习对最终任务的贡献很大，也很难对网络输出造成影响。