4. RELU对过拟合有没有效果？为什么？

  1 回答问题： 

         过拟合是指模型在训练数据上表现得很好，但在未见过的测试数据上表现不佳的现象。

        ReLU（Rectified Linear Unit）激活函数本身并不是用来直接处理过拟合问题的，而是用于引入非线性性和解决梯度消失问题的一种激活函数。然而，ReLU激活函数在某些情况下可以帮助减轻过拟合问题，尽管它不是为了解决过拟合而设计的。

ReLU对减轻过拟合的影响主要有以下几个方面：

1. 稀疏激活性质：ReLU在负数输入值上输出为零，这意味着一些神经元在训练过程中可能会变得不活跃（称为“死亡神经元”），因为它们的输出总是零。这种稀疏性质可以被视为一种正则化，有助于模型泛化并减轻过拟合。

2. 更快的训练速度：由于ReLU在正数范围内具有恒定梯度（为1），相对于一些传统的饱和激活函数（如Sigmoid