1 神经元 1.1 生物神经元 单个神经细胞只有两种状态:兴奋和抑制 1.2 人工神经元 2 激活函数 2.1 激活函数的性质 (1)连续并可导(允许少数点上不可导)的非线性函数。 可导的激活函数可以直接利用数值优化的方法来学习网络参数。 (2)激活函数及其导函数要尽可能的简单 有利于提高网络计算效率。 (3)激活函数的导函数的值域要在一个合适的区间内