目录
(可以先回顾一下我们初中学习过的生物课中神经元)。
1、单个神经元
- :特征输入向量,其中是偏置项;
- :有的地方写成,权重向量;
- 黄色圈圈:神经元,也叫做激活函数。
- :输出
2、激活函数
常用的非线性激活函数有sigmoid、tanh、relu等等。简要介绍下最基础的sigmoid函数(该函数我们在逻辑回归中用到过):
形式为:
图形为:
从图形上可以直观的看出来,sigmoid函数的功能是相当于把一个数压缩至0到1之间。当z是大的正数时(大于4),g(z)会趋近于1,而z是小的负数时(小于-4),则g(z)会趋近于0。
3、一组神经元
- 第一层称为输入层:因为在这一层输入特征,
- 第三层是输出层:因为它是计算结果。
- 中间层为隐藏层:因为在整个体系中,可以看见输入层的值,也可以看见输出层的值,但中间那一层的值是不知道的。实际上,除了输入层、输出层,其他层都被称之为隐藏层。如果有多个隐藏层就有多个激活函数。
每一层都可能由单个或者多个神经元组成,每一层的输出将会作为下