自定义损失函数、层、激活函数、求导、模拟梯度下降算法

一、自定义loss_function

1.定义

2.调用

二、自定义layer

1.定义

2.调用

三、自定义activation_function

1.定义

2.调用

四、求导

五、模拟梯度下降算法

1.原理

x会往f导数绝对值小的方向走，直到逼近f导数绝对值为0处。

2.实现