深度学习面试题汇总

1. 反向传播算法推导

2. 激活函数主要使用哪一些函数？

• sigmoid函数
• softmax函数
• Relu函数
• Gelu函数
• Elu函数
• Tanh函数

sigmoid函数
sigmoid函数和tanh函数是研究早期被广泛使用的2种激活函数。两者都为S 型饱和函数。 当sigmoid 函数输入的值趋于正无穷或负无穷时，梯度会趋近零，从而发生梯度弥散现象。sigmoid函数的输出恒为正值，不是以零为中心的，这会导致权值更新时只能朝一个方向更新，从而影响收敛速度。

———————————————————————————

3.Relu函数可导吗？如果不可导，用什么解决？

Relu函数在零点不可导，Relu的函数曲线如下图所示。可导的定义是，首先在该点有定义，当且仅当左导数和右导数相等，才可导。如果在零点不可导，解决方法一般采用左导数，也就是在零点时的导数为0。采用0.5或1也可以，个例不影响整体效果，所以采取3个值都可以。

———————————————————————————