神经元是神经网络的基本单元
神经元是神经网络的基本单元
神经元是神经网络的基本单元
这里听到了一点:
激活函数为什么叫激活函数,而不叫其他的名字
因为参考的是生物体的神经元
神经元需要的是电刺激达到某个阈值才会做出反应,所以叫激活
一般的激活函数都是将值域限制在很小的范围内
这样很合理,因为不限制的话很可能会随着层数的增加导致输出值越来越大
一般的激活函数都是非线性
这样很合理,因为很多问题不是线性关系可以解决的
我觉得也可以说非线性包含线性
如何深刻记住
sigmoid
首先是S形状
然后是中心对称点在y轴上,(0,0.5)
这样一比划,图像就很自然的描出来了。
至于它的公式,就是硬记了,注意x前面的负号
根据数学概念,如果负号变正号,那么图像就会左右翻转。
这个很好记
我觉得记住公式图像自然就记住了
多说一点:
因为x小于0时的梯度为零
在算梯度的时候可能会出现梯度为零的情况
所以会有Relu函数的变形
如leaky-Relu等