深度学习发展史

神经元是神经网络的基本单元
神经元是神经网络的基本单元
神经元是神经网络的基本单元

这里听到了一点：
激活函数为什么叫激活函数，而不叫其他的名字
因为参考的是生物体的神经元
神经元需要的是电刺激达到某个阈值才会做出反应，所以叫激活
一般的激活函数都是将值域限制在很小的范围内
这样很合理，因为不限制的话很可能会随着层数的增加导致输出值越来越大
一般的激活函数都是非线性
这样很合理，因为很多问题不是线性关系可以解决的
我觉得也可以说非线性包含线性

如何深刻记住
sigmoid
首先是S形状
然后是中心对称点在y轴上，（0，0.5）
这样一比划，图像就很自然的描出来了。
至于它的公式，就是硬记了，注意x前面的负号
根据数学概念，如果负号变正号，那么图像就会左右翻转。

这个很好记
我觉得记住公式图像自然就记住了
多说一点：
因为x小于0时的梯度为零
在算梯度的时候可能会出现梯度为零的情况
所以会有Relu函数的变形
如leaky-Relu等