目录 目录 SeLu介绍 ReLuSeLu比较 RELU 代码 结果 RELU BN 代码 结果 SELU 代码 结果 SELU BN 结果 SELU BN lecun_uniform 代码 结果 感悟 SeLu介绍 SeLu的论文在这里。从李宏毅教授的讲义中简单的概括,论文假设 1. 输入 ak 的是iid,并且均值是0,标准差是1。(如果有多个feature,则每个feature都是满足这个条件) 2. 权重满足均值是0,而标准差 σw 满足 Kσ