【吴恩达深度学习】【神经网络和深度学习】 第三章 第八节 激活函数的导数

一、激活函数的导数

有关每个函数的导数在前面的blo中已经很详细的写过了，这个不加赘述。

值得一提的是有关ReLU函数在x=0处没有导数的问题。由于可以想想的是，我们的训练集的分散且巨大的，所以我们最终0点的情况非常少，可以忽略不计，因此我们取一个0左或者0右的导数定义0的导数就好了。