第二星期第一天

Tanh函数解决了Sigmoid函数输出不是0均值的问题，但是没有解决梯度消失和指数运算的问题。
一般在二分类问题中，隐藏层用Tanh函数，输出层用Sigmoid函数。

Leaky ReLu函数在左侧给了一个很小的导数，他的优点与ReLu类似：
1）没有饱和区，不存在梯度消失问题。
2）没有指数运算，计算快。
3）收敛速度快，速度是Sigmoid和Tanh的6倍。
4）不会造成神经元失效，形成“死神经元”。
系数0.01可调，但不会太大。

***论文中出现的几个名词**斜体样式

https://blog.csdn.net/taigw/article/details/51401448

https://blog.csdn.net/sinat_22510827/article/details/80194620