人工神经元(Artificial Neuron),简称神经元(Neuron),是构成神经网络的基本单元,其主要是模拟生物神经元的结构和特性,接受一组输入信号并产出输出。
一个生物神经元通常具有多个树突和一条轴突。树突用来接受信息,轴突用来发送信息。当神经元所获得的输入信号的积累超过某个阈值时,它就处于兴奋状态,产生电脉冲。轴突尾端有许多末梢可以给其他个神经元的树突产生连接(突触),并将电脉冲信号传递给其它神经元。
MP神经元[McCulloch and Pitts, 1943]。现代神经网络中的神经元和M-P 神经元的结构并无太多变化。不同的是,MP神经元中的激活函数f 为0或1的阶跃函数,而现代神经元中的激活函数通常要求是连续可导的函数。
神经网络中w,b参数的作用(为何需要偏置b的解释):https://blog.csdn.net/xwd18280820053/article/details/70681750
激活函数需要具备以下几点性质:
1. 连续并可导(允许少数点上不可导)的非线性函数。可导的激活函数可以直接利用数值优化的方法