训练时评估指标无变化，且预测值都一样

问题

将特征全都标准化到 [0,1]，设计了多层 Dense， 训练，发现评估指标一直不下降，而且预测值全部都相同，如下所示：

原因

看了一下激活函数用的是relu，因为relu的激活小于0全等于0，大于0就保持不变；猜测是全部都小于0，导致全部都等于0，于是对于所有样本都输出同一个预测值。

解决方案

激活函数改为tanh，性能评估指标发生了变化，预测值也发生变化