1.实现了Relu,Leakrelu,Elu,Tanh激活函数。
参考:一文搞懂激活函数(Sigmoid/ReLU/LeakyReLU/PReLU/ELU)
常见的激活函数(activation function)总结
ReLu、LeakReLu、PReLu、ELU、SELU激活函数
2.实现了以下10种优化算法
SUW
SGD
Momentum
AdaGrad
RMSProp
AdaDelta 不需要设置学习率
Adam
AdaMax
Nadam
NadaMax
参考:10种优化算法汇总实现(从SGD到NadaMax)
具体实现代码可查看代码:
代码下载地址:
搭建深度学习框架(八):激活函数和参数优化算法实现
于 2021-02-21 21:37:41 首次发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)